1.11. Ансамбли: Градиентный бустинг, случайные леса, бэггинг, голосование, стекинг

1.11.1.1.1. Использование

Большинство параметров не изменилось по сравнению с GradientBoostingClassifier и GradientBoostingRegressor. Одно исключение — параметр max_iter, который заменяет n_estimators, и контролирует количество итераций процесса бустинга:

>>> from sklearn.ensemble import HistGradientBoostingClassifier
>>> from sklearn.datasets import make_hastie_10_2

>>> X, y = make_hastie_10_2(random_state=0)
>>> X_train, X_test = X[:2000], X[2000:]
>>> y_train, y_test = y[:2000], y[2000:]

>>> clf = HistGradientBoostingClassifier(max_iter=100).fit(X_train, y_train)
>>> clf.score(X_test, y_test)
0.8965

Доступные функции потерь для регрессии:

• ‘squared_error’, по умолчанию;
• ‘absolute_error’, менее чувствительна к выбросам, чем среднеквадратическая ошибка;
• ‘gamma’, хорошо подходит для моделирования строго положительных результатов;
• ‘poisson’, хорошо подходит для моделирования подсчётов и частот;
• ‘quantile’, позволяет оценить условный квантиль, который впоследствии можно использовать для получения интервалов прогнозирования.

Для классификации, ‘log_loss’ — единственный вариант. Для бинарной классификации используется бинарная лог-потеря, также известная как биномиальное отклонение или бинарная кросс-энтропия. Для n_classes >= 3, используется функция лог-потери для множественного случая, с многоклассовым отклонением и многоклассовой кросс-энтропией как альтернативными названиями. Соответствующая версия функции потерь выбирается на основе y, переданного в fit.

Размер деревьев можно контролировать с помощью параметров max_leaf_nodes, max_depth, и min_samples_leaf.

Количество бинов, используемых для разбивки данных, контролируется параметром max_bins. Использование меньшего количества бинов действует как форма регуляризации. Обычно рекомендуется использовать как можно больше бинов (255), что является значением по умолчанию.

Параметр l2_regularization действует как регуляризатор для функции потерь и соответствует \(\lambda\) в следующем выражении (см. уравнение (2) в [XGBoost]):

Обратите внимание, что раннее прекращение по умолчанию включено, если количество образцов больше 10 000. Поведение раннего прекращения контролируется параметрами early_stopping, scoring, validation_fraction, n_iter_no_change, и tol. Можно остановить процесс раннее, используя произвольный scorer, или просто значение потерь обучения или проверки. Обратите внимание, что по техническим причинам использование вызываемого объекта в качестве scorer значительно медленнее, чем использование значения потерь. По умолчанию раннее прекращение выполняется, если в обучающей выборке есть как минимум 10 000 образцов, используя значение потерь проверки.

1.11.1.1.2. Поддержка пропущенных значений

HistGradientBoostingClassifier и HistGradientBoostingRegressor имеют встроенную поддержку пропущенных значений (NaN).

Во время обучения строитель деревьев на каждом разбиении определяет, должны ли образцы с пропущенными значениями перейти в левое или правое поддерево, основываясь на потенциальном приросте. При прогнозировании образцы с пропущенными значениями последовательно направляются в левое или правое поддерево:

>>> from sklearn.ensemble import HistGradientBoostingClassifier
>>> import numpy as np

>>> X = np.array([0, 1, 2, np.nan]).reshape(-1, 1)
>>> y = [0, 0, 1, 1]

>>> gbdt = HistGradientBoostingClassifier(min_samples_leaf=1).fit(X, y)
>>> gbdt.predict(X)
array([0, 0, 1, 1])

Когда образец пропущенных значений является предсказательным, разбиения могут выполняться по наличию или отсутствию пропущенных значений в функции:

>>> X = np.array([0, np.nan, 1, 2, np.nan]).reshape(-1, 1)
>>> y = [0, 1, 0, 0, 1]
>>> gbdt = HistGradientBoostingClassifier(min_samples_leaf=1,
...                                       max_depth=2,
...                                       learning_rate=1,
...                                       max_iter=1).fit(X, y)
>>> gbdt.predict(X)
array([0, 1, 0, 0, 1])

Если во время обучения для данной функции не было встречено пропущенных значений, тогда образцы с пропущенными значениями направляются в то поддерево, в котором больше образцов.

Примеры

• Функции в деревьях градиентного бустинга с гистограммами

1.11.1.1.3. Поддержка весов образцов

HistGradientBoostingClassifier и HistGradientBoostingRegressor поддерживают веса образцов во время подгонки.

Следующий пример демонстрирует, что образцы с весом образца, равным нулю, игнорируются:

>>> X = [[1, 0],
...      [1, 0],
...      [1, 0],
...      [0, 1]]
>>> y = [0, 0, 1, 0]
>>> # ignore the first 2 training samples by setting their weight to 0
>>> sample_weight = [0, 0, 1, 1]
>>> gb = HistGradientBoostingClassifier(min_samples_leaf=1)
>>> gb.fit(X, y, sample_weight=sample_weight)
HistGradientBoostingClassifier(...)
>>> gb.predict([[1, 0]])
array([1])
>>> gb.predict_proba([[1, 0]])[0, 1]
0.99...

Как вы можете видеть, [1, 0] удобно классифицируется как 1, так как первые два образца игнорируются из-за их весов образцов.

Подробность реализации: учет весов образцов сводится к умножению градиентов (и гессианов) на веса образцов. Обратите внимание, что на стадии разбиения (в частности, вычисления квантилей) веса не учитываются.

1.11.1.1.4. Поддержка категориальных признаков

HistGradientBoostingClassifier и HistGradientBoostingRegressor имеют встроенную поддержку категориальных признаков: они могут рассматривать разбиения на не упорядоченные категориальные данные.

Для наборов данных с категориальными признаками использование встроенной поддержки категорий часто лучше, чем использование кодирования one-hot (OneHotEncoder), так как кодирование one-hot требует большей глубины дерева для достижения эквивалентных разбиений. Также обычно лучше полагаться на встроенную поддержку категорий, чем рассматривать категориальные признаки как непрерывные (порядковые), что происходит для категориальных данных с порядковым кодированием, поскольку категории являются номинальными величинами, где порядок не имеет значения.

Для включения поддержки категорий можно передать булеву маску в параметр categorical_features, указывающую, какой признак является категориальным. В следующем примере первый признак будет рассматриваться как категориальный, а второй — как числовой:

>>> gbdt = HistGradientBoostingClassifier(categorical_features=[True, False])

Аналогичным образом, можно передать список целых чисел, указывающих индексы категориальных признаков:

>>> gbdt = HistGradientBoostingClassifier(categorical_features=[0])

Если входными данными является DataFrame, можно также передать список имен столбцов:

>>> gbdt = HistGradientBoostingClassifier(categorical_features=["site", "manufacturer"])

Наконец, когда входными данными является DataFrame, мы можем использовать categorical_features="from_dtype", в этом случае все столбцы с категориальным dtype будут обрабатываться как категориальные признаки.

Мощность каждого категориального признака должна быть меньше параметра max_bins. Пример использования основанного на гистограмме градиентного бустинга для категориальных признаков см. в Поддержка категориальных признаков в градиентном бустинге.

Если во время обучения есть пропущенные значения, пропущенные значения будут обрабатываться как соответствующая категория. Если во время обучения пропущенных значений нет, то во время предсказания пропущенные значения будут сопоставляться с дочерним узлом, имеющим наибольшее количество образцов (как и для непрерывных признаков). При предсказании категории, которые не были видны во время подгонки, будут обрабатываться как пропущенные значения.

Примеры

• Поддержка категориальных признаков в градиентном бустинге

1.11.1.1.5. Монотонные ограничения

В зависимости от задачи у вас может быть предварительное знание, указывающее, что данный признак, как правило, оказывает положительное (или отрицательное) влияние на значение целевой переменной. Например, при прочих равных условиях, более высокий кредитный рейтинг должен повышать вероятность получения одобрения кредита. Монотонные ограничения позволяют включить такие предварительные знания в модель.

Для предиктора \(F\) с двумя признаками:

• ограничение на монотонное возрастание — ограничение вида:

  \[x_1 \leq x_1' \implies F(x_1, x_2) \leq F(x_1', x_2)\]

• ограничение на монотонное убывание — ограничение вида:

  \[x_1 \leq x_1' \implies F(x_1, x_2) \geq F(x_1', x_2)\]

Вы можете указать монотонное ограничение для каждого признака, используя параметр monotonic_cst. Для каждого признака значение 0 означает отсутствие ограничения, а 1 и -1 означают ограничение на монотонное возрастание и монотонное убывание соответственно:

>>> from sklearn.ensemble import HistGradientBoostingRegressor

... # monotonic increase, monotonic decrease, and no constraint on the 3 features
>>> gbdt = HistGradientBoostingRegressor(monotonic_cst=[1, -1, 0])

В контексте бинарной классификации наложение ограничения на монотонное возрастание (убывание) означает, что более высокие значения признака должны оказывать положительное (отрицательное) влияние на вероятность того, что образцы будут принадлежать положительному классу.

Тем не менее, монотонные ограничения лишь в незначительной степени ограничивают влияние признаков на выходные данные. Например, ограничения на монотонное возрастание и убывание не могут быть использованы для обеспечения следующего ограничения моделирования:

Кроме того, монотонные ограничения не поддерживаются для многоклассовой классификации.

Примеры

• Монотонные ограничения
• Признаки в деревьях градиентного бустинга на основе гистограмм

1.11.1.1.6. Ограничения взаимодействия

Априори деревья градиентного бустинга на основе гистограмм могут использовать любой признак для разбиения узла на дочерние узлы. Это создает так называемые взаимодействия между признаками, т.е. использование разных признаков как разбиений вдоль ветви. Иногда требуется ограничить возможные взаимодействия, см. [Mayer2022]. Это можно сделать с помощью параметра interaction_cst, где можно указать индексы признаков, которые разрешено взаимодействовать. Например, при 3 признаках в общей сложности interaction_cst=[{0}, {1}, {2}] запрещает все взаимодействия. Ограничения [{0, 1}, {1, 2}] определяют две группы потенциально взаимодействующих признаков. Признаки 0 и 1 могут взаимодействовать друг с другом, а также признаки 1 и 2. Но обратите внимание, что признаки 0 и 2 не могут взаимодействовать. Следующее иллюстрирует дерево и возможные разбиения дерева:

   1      <- Both constraint groups could be applied from now on
  / \
 1   2    <- Left split still fulfills both constraint groups.
/ \ / \      Right split at feature 2 has only group {1, 2} from now on.

LightGBM использует ту же логику для перекрывающихся групп.

Обратите внимание, что признаки, не указанные в interaction_cst, автоматически присваиваются группе взаимодействия для себя. При тех же 3 признаках это означает, что [{0}] эквивалентно [{0}, {1, 2}].

Примеры

• Частные зависимости и индивидуальные условные ожидания графиков

Ссылки

1.11.1.1.7. Параллелизм низкого уровня

HistGradientBoostingClassifier и HistGradientBoostingRegressor используют OpenMP для распараллеливания через Cython. Для получения дополнительной информации о том, как управлять количеством потоков, см. наши примечания по параллелизму.

Параллелизованы следующие части:

• отображение выборок из действительных значений в целочисленные бины (определение пороговых значений бинов, однако, происходит последовательно)
• построение гистограмм распараллеливается по признакам
• поиск лучшей точки разделения в узле распараллеливается по признакам
• во время обучения отображение выборок в левое и правое поддеревья распараллеливается по выборкам
• вычисления градиента и гессиана распараллеливаются по выборкам
• предсказание распараллеливается по выборкам

1.11.1.1.8. Почему это быстрее

узким местом в процедуре градиентного бустинга является построение решающих деревьев. Построение традиционного решающего дерева (как в других алгоритмах GBDT GradientBoostingClassifier и GradientBoostingRegressor) требует сортировки выборок в каждом узле (по каждому признаку). Сортировка необходима для эффективного вычисления потенциального прироста от точки разделения. Разделение одного узла, таким образом, имеет сложность \(\mathcal{O}(n_\text{features} \times n \log(n))\), где \(n\) — количество выборок в узле.

HistGradientBoostingClassifier и HistGradientBoostingRegressor, напротив, не требуют сортировки значений признаков и вместо этого используют структуру данных, называемую гистограммой, где выборки неявно упорядочены. Построение гистограммы имеет сложность \(\mathcal{O}(n)\), поэтому процедура разделения узла имеет сложность \(\mathcal{O}(n_\text{features} \times n)\), что намного меньше предыдущей. Кроме того, вместо рассмотрения \(n\) точек разделения, мы рассматриваем только max_bins точек разделения, которые могут быть значительно меньше.

Для построения гистограмм входные данные X необходимо разбить на целочисленные бины. Эта процедура разбиения требует сортировки значений признаков, но она выполняется только один раз в самом начале процесса бустинга (не в каждом узле, как в GradientBoostingClassifier и GradientBoostingRegressor).

Наконец, многие части реализации HistGradientBoostingClassifier и HistGradientBoostingRegressor распараллелены.

Ссылки

1.11.1.2.1. Добавление дополнительных слабых обучаемых

И GradientBoostingRegressor, и GradientBoostingClassifier поддерживают warm_start=True, что позволяет добавить больше оценщиков к уже обученной модели.

>>> import numpy as np
>>> from sklearn.metrics import mean_squared_error
>>> from sklearn.datasets import make_friedman1
>>> from sklearn.ensemble import GradientBoostingRegressor

>>> X, y = make_friedman1(n_samples=1200, random_state=0, noise=1.0)
>>> X_train, X_test = X[:200], X[200:]
>>> y_train, y_test = y[:200], y[200:]
>>> est = GradientBoostingRegressor(
...     n_estimators=100, learning_rate=0.1, max_depth=1, random_state=0,
...     loss='squared_error'
... )
>>> est = est.fit(X_train, y_train)  # fit with 100 trees
>>> mean_squared_error(y_test, est.predict(X_test))
5.00...
>>> _ = est.set_params(n_estimators=200, warm_start=True)  # set warm_start and increase num of trees
>>> _ = est.fit(X_train, y_train) # fit additional 100 trees to est
>>> mean_squared_error(y_test, est.predict(X_test))
3.84...

1.11.1.2.2. Управление размером дерева

Размер регрессионных деревьев-базовых обучаемых определяет уровень взаимодействия переменных, который может быть захвачен моделью градиентного бустинга. В общем случае дерево глубиной h может захватывать взаимодействия порядка h.

Существует два способа управления размером отдельных регрессионных деревьев.

Если вы укажете max_depth=h, будут построены полные двоичные деревья глубиной h. Такие деревья будут иметь (максимум) 2**h узлов листа и 2**h - 1 узлов разделения.

В качестве альтернативы вы можете управлять размером дерева, указав количество узлов листа через параметр max_leaf_nodes. В этом случае деревья будут строиться с использованием поиска по наилучшему первому совпадению, где узлы с наибольшим улучшением в неоднородности будут расширяться в первую очередь. Дерево с max_leaf_nodes=k имеет k - 1 узлов разделения и, таким образом, может моделировать взаимодействия до порядка max_leaf_nodes - 1.

Мы обнаружили, что max_leaf_nodes=k дает сопоставимые результаты с max_depth=k-1, но значительно быстрее обучается за счет немного большей ошибки обучения. Параметр max_leaf_nodes соответствует переменной J в главе о градиентном бустинге в [Friedman2001] и связан с параметром interaction.depth в пакете gbm R, где max_leaf_nodes == interaction.depth + 1.

1.11.1.2.3. Математическая формулировка

Сначала мы представим GBRT для регрессии, а затем подробно рассмотрим случай классификации.

1.11.1.2.4. Функции потерь

Поддерживаются следующие функции потерь, которые можно указать с помощью параметра loss:

1.11.1.2.5. Уменьшение шага с помощью скорости обучения

[Friedman2001] предложил простую стратегию регуляризации, которая масштабирует вклад каждого слабого обучаемого элемента на постоянный коэффициент \(\nu\):

Параметр \(\nu\) также называется скоростью обучения, поскольку он масштабирует длину шага процедуры градиентного спуска; его можно установить с помощью параметра learning_rate.

Параметр learning_rate сильно взаимодействует с параметром n_estimators, количеством слабых обучаемых элементов для подбора. Более малые значения learning_rate требуют большего количества слабых обучаемых элементов для поддержания постоянной ошибки обучения. Эмпирические данные свидетельствуют о том, что малые значения learning_rate благоприятствуют меньшей ошибке на тестовых данных. [HTF] рекомендуют установить скорость обучения на небольшое постоянное значение (например, learning_rate <= 0.1) и выбрать n_estimators достаточно большим, чтобы применялось раннее прекращение, см. Раннее прекращение в градиентном бустинге для более подробного обсуждения взаимодействия между learning_rate и n_estimators, см. [R2007].

1.11.1.2.6. Подвыборка

[Friedman2002] предложил стохастический градиентный бустинг, который сочетает градиентный бустинг со средним по бутстрепу (bagging). На каждой итерации базовый классификатор обучается на части subsample доступных данных обучения. Подвыборка выбирается без возвращения. Типичное значение subsample равно 0,5.

На рисунке ниже показано влияние уменьшения шага и подвыборки на адекватность модели. Мы можем ясно увидеть, что уменьшение шага превосходит отсутствие уменьшения шага. Подвыборка с уменьшением шага может ещё больше повысить точность модели. Подвыборка без уменьшения шага, с другой стороны, показывает плохие результаты.

Другой стратегией для уменьшения дисперсии является подвыборка признаков, аналогичная случайным разделениям в RandomForestClassifier. Количество подвыбранных признаков можно контролировать с помощью параметра max_features.

Стохастический градиентный бустинг позволяет вычислить оценки вне выборки (out-of-bag) тестового отклонения, вычислив улучшение отклонения на примерах, не включенных в образец бутстрепа (т. е. примерах вне выборки). Улучшения хранятся в атрибуте oob_improvement_. oob_improvement_[i] содержит улучшение с точки зрения потери на примерах вне выборки, если вы добавите i-й этап к текущим прогнозам. Оценки вне выборки могут использоваться для выбора модели, например, для определения оптимального количества итераций. Оценки вне выборки обычно очень пессимистичны, поэтому мы рекомендуем использовать перекрестную проверку вместо этого и использовать оценки вне выборки только в том случае, если перекрестная проверка слишком длительна.

Примеры

• Регуляризация градиентного бустинга
• Оценки градиентного бустинга вне выборки
• Ошибки вне выборки для случайных лесов

1.11.1.2.7. Интерпретация с помощью важности признаков

Индивидуальные деревья решений легко интерпретировать, просто визуализировав структуру дерева. Однако модели градиентного бустинга состоят из сотен регрессионных деревьев, поэтому их сложно интерпретировать путем визуального осмотра отдельных деревьев. К счастью, было предложено несколько методов для обобщения и интерпретации моделей градиентного бустинга.

Часто признаки не вносят одинаковый вклад в предсказание целевой переменной; во многих ситуациях большая часть признаков фактически не имеет значения. При интерпретации модели обычно первым вопросом является: каковы важные признаки и как они вносят вклад в предсказание целевой переменной?

Индивидуальные деревья решений изначально выполняют отбор признаков, выбирая подходящие точки разбиения. Эта информация может использоваться для измерения важности каждого признака; основная идея заключается в том: чем чаще признак используется в точках разбиения дерева, тем важнее этот признак. Это понятие важности можно распространить на ансамбли деревьев решений, просто усреднив важность признаков, основанную на неопределенности каждого дерева (см. Оценка важности признаков для получения более подробной информации).

Значения важности признаков обученной модели градиентного бустинга можно получить через свойство feature_importances_:

>>> from sklearn.datasets import make_hastie_10_2
>>> from sklearn.ensemble import GradientBoostingClassifier

>>> X, y = make_hastie_10_2(random_state=0)
>>> clf = GradientBoostingClassifier(n_estimators=100, learning_rate=1.0,
...     max_depth=1, random_state=0).fit(X, y)
>>> clf.feature_importances_
array([0.10..., 0.10..., 0.11..., ...

Обратите внимание, что это вычисление важности признаков основано на энтропии и отличается от sklearn.inspection.permutation_importance, которое основано на перестановке признаков.

Примеры

• Регрессия с помощью градиентного бустинга

Ссылки