1.9. Наивный Байес

1.9.1. Гауссовский наивный Байес

GaussianNB реализует алгоритм гауссовского наивного Байеса для классификации. Предполагается, что правдоподобие признаков имеет гауссовское распределение:

Параметры \(\sigma_y\) и \(\mu_y\) оцениваются методом максимального правдоподобия.

>>> from sklearn.datasets import load_iris
>>> from sklearn.model_selection import train_test_split
>>> from sklearn.naive_bayes import GaussianNB
>>> X, y = load_iris(return_X_y=True)
>>> X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5, random_state=0)
>>> gnb = GaussianNB()
>>> y_pred = gnb.fit(X_train, y_train).predict(X_test)
>>> print("Number of mislabeled points out of a total %d points : %d"
...       % (X_test.shape[0], (y_test != y_pred).sum()))
Number of mislabeled points out of a total 75 points : 4

1.9.2. Мультиномиальный наивный Байес

MultinomialNB реализует алгоритм наивного Байеса для данных с мультиномиальным распределением и является одним из двух классических вариантов наивного Байеса, используемых для классификации текстов (данные обычно представляются в виде векторов частот слов, хотя на практике хорошо работают и векторы tf-idf). Распределение задаётся векторами \(\theta_y = (\theta_{y1},\ldots,\theta_{yn})\) для каждого класса \(y\), где \(n\) — число признаков (при классификации текстов — размер словаря), а \(\theta_{yi}\) — вероятность \(P(x_i \mid y)\) того, что признак \(i\) встретится в объекте класса \(y\).

Параметры \(\theta_y\) оцениваются с помощью сглаженной версии метода максимального правдоподобия, то есть подсчёта относительных частот:

где \(N_{yi} = \sum_{x \in T} x_i\) — число вхождений признака \(i\) во все объекты класса \(y\) в обучающей выборке \(T\), а \(N_{y} = \sum_{i=1}^{n} N_{yi}\) — общее число вхождений всех признаков для класса \(y\).

Сглаживающие априорные параметры \(\alpha \ge 0\) учитывают признаки, отсутствующие в обучающих объектах, и предотвращают появление нулевых вероятностей в дальнейших вычислениях. Значение \(\alpha = 1\) соответствует сглаживанию Лапласа, а \(\alpha < 1\) — сглаживанию Лидстоуна.

1.9.3. Комплементарный наивный Байес

ComplementNB реализует алгоритм комплементарного наивного Байеса (CNB). CNB — это адаптация стандартного алгоритма мультиномиального наивного Байеса (MNB), особенно подходящая для несбалансированных наборов данных. В частности, CNB использует статистику по дополнению каждого класса для вычисления весов модели. Авторы CNB эмпирически показывают, что оценки параметров для CNB стабильнее, чем для MNB. Кроме того, CNB часто превосходит MNB (нередко со значительным отрывом) в задачах классификации текстов.

1.9.4. Наивный Байес Бернулли

BernoulliNB реализует алгоритмы обучения и классификации наивного Байеса для данных с многомерным распределением Бернулли; то есть признаков может быть несколько, но каждый из них считается бинарной переменной (Бернулли, булевой). Поэтому этот класс требует представлять объекты в виде векторов бинарных признаков; если передать данные другого типа, экземпляр BernoulliNB может бинаризовать входные данные (в зависимости от параметра binarize).

Правило принятия решений для наивного Байеса Бернулли основано на выражении

Оно отличается от правила мультиномиального наивного Байеса тем, что явно учитывает отсутствие признака \(i\), являющегося индикатором класса \(y\), тогда как мультиномиальный вариант просто игнорирует отсутствующий признак.

Для классификации текстов при обучении и использовании этого классификатора можно применять векторы наличия слов (вместо векторов частот слов). На некоторых наборах данных, особенно содержащих короткие документы, BernoulliNB может работать лучше. Если позволяет время, рекомендуется оценить обе модели.

1.9.5. Категориальный наивный Байес

CategoricalNB реализует алгоритм категориального наивного Байеса для данных с категориальным распределением. Он предполагает, что у каждого признака, обозначенного индексом \(i\), есть собственное категориальное распределение.

Для каждого признака \(i\) в обучающей выборке \(X\) CategoricalNB оценивает категориальное распределение для каждого признака i из X при условии класса y. Множество индексов объектов задаётся как \(J = \{ 1, \dots, m \}\), где \(m\) — число объектов.

CategoricalNB предполагает, что матрица объектов \(X\) закодирована (например, с помощью OrdinalEncoder) так, что все категории каждого признака \(i\) представлены числами \(0, ..., n_i - 1\), где \(n_i\) — число возможных категорий признака \(i\).

1.9.6. Обучение моделей наивного Байеса вне оперативной памяти

Модели наивного Байеса можно использовать для решения крупномасштабных задач классификации, в которых весь обучающий набор может не поместиться в памяти. Для таких случаев в MultinomialNB, BernoulliNB и GaussianNB предусмотрен метод partial_fit, который можно применять инкрементально, как и у других классификаторов, что показано в примере Классификация текстовых документов вне оперативной памяти. Все классификаторы наивного Байеса поддерживают взвешивание объектов.

В отличие от метода fit, при первом вызове partial_fit необходимо передать список всех ожидаемых меток классов.

Обзор доступных в scikit-learn стратегий см. также в документации по обучению вне оперативной памяти.