1.9. Байесовский метод наивного предположения

1.9.1. Гауссовский байесовский метод наивного предположения

GaussianNB реализует алгоритм Гауссовского Байеса с наивным предположением для классификации. Вероятность признаков предполагается гауссовской:

Параметры \(\sigma_y\) и \(\mu_y\) оцениваются с использованием максимального правдоподобия.

>>> from sklearn.datasets import load_iris
>>> from sklearn.model_selection import train_test_split
>>> from sklearn.naive_bayes import GaussianNB
>>> X, y = load_iris(return_X_y=True)
>>> X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5, random_state=0)
>>> gnb = GaussianNB()
>>> y_pred = gnb.fit(X_train, y_train).predict(X_test)
>>> print("Number of mislabeled points out of a total %d points : %d"
...       % (X_test.shape[0], (y_test != y_pred).sum()))
Number of mislabeled points out of a total 75 points : 4

1.9.2. Мультиномиальный байесовский метод наивного предположения

MultinomialNB реализует алгоритм Байеса с наивным предположением для данных с мультиномиальным распределением и является одним из двух классических вариантов Байеса с наивным предположением, используемых в классификации текста (где данные обычно представлены в виде подсчета векторов слов, хотя векторы tf-idf также известны как хорошо работающие на практике). Распределение параметризуется векторами \(\theta_y = (\theta_{y1},\ldots,\theta_{yn})\) для каждого класса \(y\), где \(n\) — количество признаков (в классификации текста — размер словаря), а \(\theta_{yi}\) — вероятность \(P(x_i \mid y)\) появления признака \(i\) в образце, принадлежащем классу \(y\).

Параметр \(\theta_y\) оценивается с помощью сглаженного варианта максимального правдоподобия, т.е. подсчета относительной частоты:

где \(N_{yi} = \sum_{x \in T} x_i\) — количество раз, когда признак \(i\) появляется во всех образцах класса \(y\) в обучающей выборке \(T\), и \(N_{y} = \sum_{i=1}^{n} N_{yi}\) — общее количество всех признаков для класса \(y\).

Сглаживающие параметры \(\alpha \ge 0\) учитывают признаки, отсутствующие в образцах обучения, и предотвращают нулевые вероятности в дальнейших вычислениях. Присвоение \(\alpha = 1\) называется сглаживанием Лапласа, а \(\alpha < 1\) — сглаживанием Лидстоуна.

1.9.3. Дополнительный метод наивного Байеса

ComplementNB реализует алгоритм дополнительного наивного Байеса (CNB). CNB — это адаптация стандартного алгоритма мультиномиального наивного Байеса (MNB), который особенно подходит для несбалансированных наборов данных. В частности, CNB использует статистику из *дополнительного* каждого класса для вычисления весов модели. Авторы CNB эмпирически показали, что оценки параметров для CNB более устойчивы, чем для MNB. Кроме того, CNB регулярно превосходит MNB (часто с значительным отрывом) при задачах классификации текста.

1.9.4. Наивный байесовский классификатор Бернулли

BernoulliNB реализует алгоритмы обучения и классификации наивного Байеса для данных, распределённых по многомерным распределениям Бернулли; то есть, может быть несколько признаков, но каждый из них предполагается бинарной (бернуллиевской, булевой) переменной. Поэтому этот класс требует, чтобы образцы представлялись как бинарные векторные признаки; если ему передаётся другой тип данных, экземпляр BernoulliNB может бинаризовать свой вход (в зависимости от параметра binarize).

Правило принятия решения для наивного байесовского классификатора Бернулли основано на

что отличается от правила многомерного наивного Байеса тем, что оно явно штрафует за отсутствие признака \(i\), являющегося индикатором класса \(y\), где многомерный вариант просто игнорирует отсутствующий признак.

В случае классификации текста могут использоваться векторы частоты появления слов (а не векторы счётчиков слов) для обучения и использования этого классификатора. BernoulliNB может работать лучше на некоторых наборах данных, особенно на наборах с короткими документами. Желательно оценить обе модели, если позволяет время.

1.9.5. Категориальный наивный Байес

CategoricalNB реализует алгоритм категориального наивного Байеса для категориально распределённых данных. Он предполагает, что каждый признак, описываемый индексом \(i\), имеет собственное категориальное распределение.

Для каждого признака \(i\) в наборе данных обучения \(X\), CategoricalNB оценивает категориальное распределение для каждого признака i of X, обусловленного классом y. Множество индексов образцов определяется как \(J = \{ 1, \dots, m \}\), где \(m\) — количество образцов.

CategoricalNB предполагает, что матрица образцов \(X\) закодирована (например, с помощью OrdinalEncoder), таким образом, что все категории для каждого признака \(i\) представлены числами \(0, ..., n_i - 1\), где \(n_i\) — количество доступных категорий признака \(i\).

1.9.6. Обучение моделей наивного Байеса вне области памяти

Модели наивного Байеса могут использоваться для решения задач классификации большой размерности, для которых весь набор данных обучения может не поместиться в памяти. Для этого случая MultinomialNB, BernoulliNB и GaussianNB предоставляют метод partial_fit, который может использоваться инкрементально, как и с другими классификаторами, как показано в Классификация текстовых документов вне области памяти. Все классификаторы наивного Байеса поддерживают взвешивание образцов.

В отличие от метода fit, первый вызов метода partial_fit должен быть передан с перечнем всех ожидаемых меток классов.

Обзор доступных стратегий в scikit-learn также см. в документации обучения вне области памяти.