2.1. Модели гауссовых смесей

Преимущества

Скорость:

Это самый быстрый алгоритм для обучения моделям смесей.

Независимость:

Так как этот алгоритм максимизирует только правдоподобие, он не будет смещать средние значения к нулю или смещать размеры кластеров, чтобы иметь определённые структуры, которые могут или могут не применяться.

Недостатки

Особые случаи:

Когда количество точек в каждой компоненте недостаточно, оценка ковариационных матриц становится сложной, и известно, что алгоритм расходится и находит решения с бесконечным правдоподобием, если искусственно не добавить регуляризации ковариаций.

Количество компонент:

Этот алгоритм всегда будет использовать все доступные компоненты, поэтому для выбора количества компонент в отсутствии внешних указаний требуется использовать отложенные данные или критерии, основанные на теории информации.

Критерий BIC может использоваться для эффективного выбора количества компонент в модели гауссовой смеси. Теоретически он восстанавливает истинное количество компонент только в асимптотическом режиме (то есть, если доступно много данных и предполагается, что данные были фактически сгенерированы независимо и одинаково из смеси гауссовых распределений). Обратите внимание, что использование вариационной байесовской модели гауссовой смеси позволяет избежать указания количества компонент для модели гауссовой смеси.

Примеры

• См. Выбор модели гауссовой смеси для примера выбора модели с классической моделью гауссовой смеси.

Основная трудность в обучении моделей гауссовых смесей по неопределенным данным заключается в том, что обычно неизвестно, какие точки происходят от какой скрытой компоненты (если эта информация доступна, то очень легко подогнать отдельное гауссовское распределение к каждой группе точек). Алгоритм максимизации правдоподобия — это хорошо обоснованный статистический алгоритм, позволяющий обойти эту проблему с помощью итерационного процесса. Сначала предполагаются случайные компоненты (случайно центрированные на точках данных, обученные с помощью k-средних или даже просто нормально распределенные вокруг начала координат), и для каждой точки вычисляется вероятность её генерации каждой компонентой модели. Затем параметры корректируются, чтобы максимизировать правдоподобие данных с учётом этих назначений. Повторение этого процесса гарантированно сходится к локальному оптимуму.

Существует четыре метода инициализации (а также возможность ввода пользователем начальных средних значений) для генерации начальных центров компонент модели:

k-средних (по умолчанию)

Это применение традиционного алгоритма кластеризации k-средних. Это может быть вычислительно дорого по сравнению с другими методами инициализации.

k-средних++

Это использует метод инициализации k-средних: k-средних++. Первый центр выбирается случайным образом из данных. Последующие центры выбираются из взвешенного распределения данных, отдавая предпочтение точкам, удалённым от существующих центров. k-средних++ — это метод инициализации по умолчанию для k-средних, поэтому он будет быстрее, чем запуск полного k-средних, но может всё ещё занимать значительное время для больших наборов данных с многими компонентами.

random_from_data

Это выберет случайные точки данных из входных данных в качестве начальных центров. Это очень быстрый метод инициализации, но может давать не сходящиеся результаты, если выбранные точки слишком близки друг к другу.

случайный

Центры выбираются как небольшое возмущение относительно среднего значения всех данных. Этот метод прост, но может привести к тому, что модель будет дольше сходиться.

Примеры

• См. Методы инициализации GMM для примера использования различных методов инициализации в гауссовой смеси.

Преимущества

Автоматический выбор:

Когда weight_concentration_prior достаточно мало, а n_components больше, чем необходимо модели, вариационная байесовская модель смеси имеет естественную тенденцию устанавливать некоторые значения весов смесей близкими к нулю. Это позволяет модели автоматически выбирать подходящее количество эффективных компонентов. Необходимо только указать верхнюю границу этого числа. Однако следует отметить, что «идеальное» количество активных компонентов сильно зависит от конкретного применения и обычно не определено в задачах исследования данных.

Меньшая чувствительность к количеству параметров:

В отличие от конечных моделей, которые почти всегда используют все компоненты по максимуму и, следовательно, дают сильно отличающиеся решения для разных количеств компонентов, вариационный вывод с априорным распределением процесса Дирихле (weight_concentration_prior_type='dirichlet_process') не сильно изменится при изменении параметров, что приводит к большей стабильности и меньшему количеству настроек.

Регуляризация:

Благодаря включению априорной информации, вариационные решения имеют меньше патологических случаев, чем решения метода ожиданий-максимизации.

Недостатки

Скорость:

Дополнительная параметризация, необходимая для вариационного вывода, делает вывод медленнее, хотя и не намного.

Гиперпараметры:

Этот алгоритм требует дополнительного гиперпараметра, который может потребовать экспериментальной настройки с помощью перекрёстной проверки.

Смещение:

Существует много неявных смещений в алгоритмах вывода (и также в процессе Дирихле, если он используется), и всякий раз, когда происходит несоответствие между этими смещениями и данными, может быть возможно подобрать лучшие модели, используя конечную смесь.