2.1. Модели гауссовых смесей

Преимущества

Скорость:

Это самый быстрый алгоритм обучения моделей смесей.

Непредвзятость:

Поскольку этот алгоритм максимизирует только правдоподобие, он не смещает средние значения к нулю и не приводит к определённой структуре размеров кластеров, которая может подходить или не подходить для конкретных данных.

Недостатки

Сингулярности:

Если точек на каждую компоненту смеси недостаточно, оценивание ковариационных матриц становится затруднительным. Известно, что алгоритм может расходиться и находить решения с бесконечным правдоподобием, если искусственно не регуляризовать ковариации.

Количество компонентов:

Этот алгоритм всегда использует все доступные ему компоненты, поэтому при отсутствии внешних подсказок для определения их количества нужны отложенные данные или теоретико-информационные критерии.

Критерий BIC можно эффективно использовать для выбора количества компонентов в гауссовой смеси. Теоретически он позволяет восстановить истинное количество компонентов только в асимптотическом режиме (то есть при наличии большого объёма данных и при условии, что данные действительно независимо и одинаково распределены согласно смеси гауссовых распределений). Обратите внимание: использование вариационной байесовской гауссовой смеси позволяет не задавать количество компонентов модели гауссовой смеси.

Примеры

• Пример выбора модели с использованием классической гауссовой смеси см. в разделе Выбор модели гауссовой смеси.

Основная трудность при обучении моделей гауссовых смесей на неразмеченных данных заключается в том, что обычно неизвестно, из какой скрытой компоненты получена каждая точка (если эта информация доступна, подогнать отдельное гауссово распределение для каждой группы точек очень просто). Максимизация ожидания — хорошо обоснованный статистический алгоритм, позволяющий решить эту задачу с помощью итеративного процесса. Сначала предполагаются случайные компоненты (случайным образом центрированные на точках данных, полученные с помощью k-средних или просто распределённые по нормальному закону вокруг начала координат), а затем для каждой точки вычисляется вероятность того, что она была сгенерирована каждой из компонент модели. После этого параметры настраиваются так, чтобы максимизировать правдоподобие данных при заданных назначениях. Повторение этого процесса гарантированно приводит к локальному оптимуму.

Для определения начальных центров компонентов модели можно выбрать один из четырёх методов инициализации (а также задать начальные средние значения вручную):

k-means (по умолчанию)

Используется традиционный алгоритм кластеризации k-средних. По сравнению с другими методами инициализации он может требовать значительных вычислительных затрат.

k-means++

Используется метод инициализации кластеризации k-средних — k-means++. Первый центр случайным образом выбирается из данных. Последующие центры выбираются из взвешенного распределения данных, отдающего предпочтение точкам, расположенным дальше от уже выбранных центров. Поскольку k-means++ используется для инициализации k-средних по умолчанию, он работает быстрее, чем полный запуск k-средних, но для больших наборов данных с большим количеством компонентов всё ещё может требовать значительного времени.

random_from_data

В качестве начальных центров случайным образом выбираются точки входных данных. Это очень быстрый метод инициализации, но он может приводить к несходимости, если выбранные точки расположены слишком близко друг к другу.

random

Центры выбираются как небольшое случайное отклонение от среднего значения всех данных. Этот метод прост, но может увеличить время сходимости модели.

Примеры

• Пример использования различных способов инициализации гауссовой смеси см. в разделе Методы инициализации GMM.

Преимущества

Автоматический выбор:

Если значение weight_concentration_prior достаточно мало, а n_components больше необходимого модели, вариационная байесовская модель смеси естественным образом стремится присвоить весам некоторых компонент значения, близкие к нулю. Это позволяет модели автоматически выбирать подходящее количество эффективных компонентов. Нужно задать лишь его верхнюю границу. Однако обратите внимание, что «идеальное» количество активных компонентов сильно зависит от конкретной задачи и обычно чётко не определено при исследовательском анализе данных.

Меньшая чувствительность к количеству параметров:

В отличие от конечных моделей, которые почти всегда используют все компоненты в максимально возможной степени и поэтому дают существенно разные решения при разном количестве компонентов, вариационный вывод с априорным распределением в виде процесса Дирихле (weight_concentration_prior_type='dirichlet_process') мало меняется при изменении параметров, что повышает стабильность и уменьшает необходимость настройки.

Регуляризация:

Благодаря учёту априорной информации вариационные решения реже имеют патологические особые случаи, чем решения, полученные максимизацией ожидания.

Недостатки

Скорость:

Дополнительная параметризация, необходимая для вариационного вывода, замедляет вычисления, хотя и незначительно.

Гиперпараметры:

Алгоритму требуется дополнительный гиперпараметр, который может потребовать экспериментальной настройки с помощью кросс-валидации.

Смещение:

Алгоритмы вывода содержат множество неявных смещений (как и процесс Дирихле, если он используется). Если данные не соответствуют этим смещениям, конечная смесь может позволить подогнать более качественные модели.