1.11. Ансамбли: градиентный бустинг, случайные леса, бэггинг, голосование, стекинг

1.11.1.1.1. Использование

Большинство параметров не изменились по сравнению с GradientBoostingClassifier и GradientBoostingRegressor. Одно из исключений — параметр max_iter, заменяющий n_estimators и задающий число итераций процесса бустинга:

>>> from sklearn.ensemble import HistGradientBoostingClassifier
>>> from sklearn.datasets import make_hastie_10_2

>>> X, y = make_hastie_10_2(random_state=0)
>>> X_train, X_test = X[:2000], X[2000:]
>>> y_train, y_test = y[:2000], y[2000:]

>>> clf = HistGradientBoostingClassifier(max_iter=100).fit(X_train, y_train)
>>> clf.score(X_test, y_test)
0.8965

Для регрессии доступны следующие функции потерь:

• ‘squared_error’ — функция потерь по умолчанию;
• ‘absolute_error’ — менее чувствительна к выбросам, чем квадратичная ошибка;
• ‘gamma’ — хорошо подходит для моделирования строго положительных результатов;
• ‘poisson’ — хорошо подходит для моделирования счетных данных и частот;
• ‘quantile’ — позволяет оценивать условный квантиль, который впоследствии можно использовать для получения интервалов предсказания.

Для классификации доступен только вариант ‘log_loss’. В бинарной классификации используется бинарная логарифмическая функция потерь, также известная как биномиальное отклонение или бинарная кросс-энтропия. Для n_classes >= 3 используется многоклассовая логарифмическая функция потерь, также называемая мультиномиальным отклонением или категориальной кросс-энтропией. Подходящий вариант функции потерь выбирается на основе значения y, переданного в fit.

Размер деревьев можно контролировать с помощью параметров max_leaf_nodes, max_depth и min_samples_leaf.

Число бинов, используемых для разбиения данных, задается параметром max_bins. Использование меньшего числа бинов действует как регуляризация. Обычно рекомендуется использовать максимально возможное число бинов (255), установленное по умолчанию.

Параметр l2_regularization служит регуляризатором функции потерь и соответствует \(\lambda\) в следующем выражении (см. уравнение (2) в [XGBoost]):

Обратите внимание: ранняя остановка включена по умолчанию, если число образцов превышает 10 000. Поведение ранней остановки контролируется параметрами early_stopping, scoring, validation_fraction, n_iter_no_change и tol. Раннюю остановку можно выполнять с помощью произвольной функции оценки или только на основе потерь при обучении либо валидации. Обратите внимание: по техническим причинам использование вызываемого объекта в качестве функции оценки значительно медленнее, чем использование функции потерь. По умолчанию ранняя остановка выполняется, если обучающая выборка содержит не менее 10 000 образцов, и для этого используются потери на валидационной выборке.

1.11.1.1.2. Поддержка пропущенных значений

HistGradientBoostingClassifier и HistGradientBoostingRegressor имеют встроенную поддержку пропущенных значений (NaN).

Во время обучения алгоритм построения дерева для каждой точки разбиения определяет, следует ли направлять образцы с пропущенными значениями в левый или правый дочерний узел, исходя из потенциального выигрыша. При предсказании образцы с пропущенными значениями соответственно направляются в левый или правый дочерний узел:

>>> from sklearn.ensemble import HistGradientBoostingClassifier
>>> import numpy as np

>>> X = np.array([0, 1, 2, np.nan]).reshape(-1, 1)
>>> y = [0, 0, 1, 1]

>>> gbdt = HistGradientBoostingClassifier(min_samples_leaf=1).fit(X, y)
>>> gbdt.predict(X)
array([0, 0, 1, 1])

Если закономерность пропусков помогает предсказывать целевое значение, разбиения можно выполнять по признаку наличия или отсутствия значения:

>>> X = np.array([0, np.nan, 1, 2, np.nan]).reshape(-1, 1)
>>> y = [0, 1, 0, 0, 1]
>>> gbdt = HistGradientBoostingClassifier(min_samples_leaf=1,
...                                       max_depth=2,
...                                       learning_rate=1,
...                                       max_iter=1).fit(X, y)
>>> gbdt.predict(X)
array([0, 1, 0, 0, 1])

Если во время обучения для заданного признака не встречались пропущенные значения, то при их появлении образцы направляются в дочерний узел с наибольшим числом образцов.

Примеры

• Признаки в деревьях градиентного бустинга на основе гистограмм

1.11.1.1.3. Поддержка весов образцов

HistGradientBoostingClassifier и HistGradientBoostingRegressor поддерживают веса образцов во время обучения.

Следующий простой пример показывает, что образцы с нулевым весом игнорируются:

>>> X = [[1, 0],
...      [1, 0],
...      [1, 0],
...      [0, 1]]
>>> y = [0, 0, 1, 0]
>>> # ignore the first 2 training samples by setting their weight to 0
>>> sample_weight = [0, 0, 1, 1]
>>> gb = HistGradientBoostingClassifier(min_samples_leaf=1)
>>> gb.fit(X, y, sample_weight=sample_weight)
HistGradientBoostingClassifier(...)
>>> gb.predict([[1, 0]])
array([1])
>>> gb.predict_proba([[1, 0]])[0, 1]
np.float64(0.999)

Как видите, [1, 0] уверенно классифицируется как 1, поскольку первые два образца игнорируются из-за назначенных им весов.

Подробности реализации: учет весов образцов сводится к умножению градиентов (и гессианов) на веса образцов. Обратите внимание, что на этапе разбиения на бины (в частности, при вычислении квантилей) веса не учитываются.

1.11.1.1.4. Поддержка категориальных признаков

HistGradientBoostingClassifier и HistGradientBoostingRegressor имеют встроенную поддержку категориальных признаков: они могут выполнять разбиения по неупорядоченным категориальным данным.

Для наборов данных с категориальными признаками часто лучше использовать встроенную поддержку категориальных данных, чем полагаться на унитарное кодирование (OneHotEncoder), поскольку для достижения эквивалентных разбиений унитарное кодирование требует большей глубины дерева. Кроме того, обычно лучше использовать встроенную поддержку категориальных данных, а не рассматривать категориальные признаки как непрерывные (порядковые), как это происходит при порядковом кодировании категориальных данных: категории являются номинальными величинами, для которых порядок не имеет значения.

Чтобы включить поддержку категориальных данных, параметру categorical_features можно передать булеву маску, указывающую, какие признаки являются категориальными. В следующем примере первый признак рассматривается как категориальный, а второй — как числовой:

>>> gbdt = HistGradientBoostingClassifier(categorical_features=[True, False])

Вместо этого можно передать список целых чисел с индексами категориальных признаков:

>>> gbdt = HistGradientBoostingClassifier(categorical_features=[0])

Если входные данные представлены в виде DataFrame, можно также передать список названий столбцов:

>>> gbdt = HistGradientBoostingClassifier(categorical_features=["site", "manufacturer"])

Наконец, при использовании DataFrame можно указать categorical_features="from_dtype"; в этом случае все столбцы с категориальным dtype будут рассматриваться как категориальные признаки.

Кардинальность каждого категориального признака должна быть меньше значения параметра max_bins. Пример использования градиентного бустинга на основе гистограмм с категориальными признаками см. в разделе Поддержка категориальных признаков в градиентном бустинге.

Если во время обучения присутствуют пропущенные значения, они будут рассматриваться как отдельная категория. Если во время обучения пропущенных значений нет, то при предсказании они направляются в дочерний узел с наибольшим числом образцов (как и для непрерывных признаков). Категории, не встречавшиеся во время обучения, при предсказании будут считаться пропущенными значениями.

Примеры

• Поддержка категориальных признаков в градиентном бустинге

1.11.1.1.5. Монотонные ограничения

В зависимости от решаемой задачи у вас могут быть априорные знания о том, что определенный признак в общем случае должен положительно (или отрицательно) влиять на целевое значение. Например, при прочих равных условиях более высокий кредитный рейтинг должен повышать вероятность одобрения кредита. Монотонные ограничения позволяют учитывать такие априорные знания в модели.

Для предиктора \(F\) с двумя признаками:

• ограничение на монотонное возрастание имеет следующий вид:

  \[x_1 \leq x_1' \implies F(x_1, x_2) \leq F(x_1', x_2)\]

• ограничение на монотонное убывание имеет следующий вид:

  \[x_1 \leq x_1' \implies F(x_1, x_2) \geq F(x_1', x_2)\]

Для каждого признака можно задать монотонное ограничение с помощью параметра monotonic_cst. Значение 0 означает отсутствие ограничений, а значения 1 и -1 указывают соответственно на ограничение монотонного возрастания и монотонного убывания:

>>> from sklearn.ensemble import HistGradientBoostingRegressor

... # monotonic increase, monotonic decrease, and no constraint on the 3 features
>>> gbdt = HistGradientBoostingRegressor(monotonic_cst=[1, -1, 0])

В задаче бинарной классификации наложение ограничения на монотонное возрастание (убывание) означает, что более высокие значения признака должны положительно (отрицательно) влиять на вероятность принадлежности образцов к положительному классу.

Однако монотонные ограничения лишь частично ограничивают влияние признаков на выход модели. Например, ограничения на монотонное возрастание и убывание нельзя использовать для выполнения следующего условия моделирования:

Кроме того, монотонные ограничения не поддерживаются для многоклассовой классификации.

Практическую реализацию монотонных ограничений в градиентном бустинге на основе гистограмм, в том числе описание того, как они могут улучшить обобщающую способность при наличии предметных знаний, см. в разделе Монотонные ограничения.

Примеры

• Признаки в деревьях градиентного бустинга на основе гистограмм

1.11.1.1.6. Ограничения на взаимодействия

По умолчанию деревьям градиентного бустинга на основе гистограмм разрешено использовать любые признаки для разделения узла на дочерние узлы. Это создает так называемые взаимодействия между признаками, то есть использование разных признаков для разбиения на одной ветви. Иногда требуется ограничить возможные взаимодействия; см. [Mayer2022]. Это можно сделать с помощью параметра interaction_cst, задав индексы признаков, которым разрешено взаимодействовать. Например, если всего имеется 3 признака, interaction_cst=[{0}, {1}, {2}] запрещает все взаимодействия. Ограничения [{0, 1}, {1, 2}] задают две группы признаков, которым разрешено взаимодействовать. Признаки 0 и 1 могут взаимодействовать друг с другом, как и признаки 1 и 2. Однако взаимодействие признаков 0 и 2 запрещено. На следующем рисунке показано дерево и возможные разбиения в нем:

   1      <- Both constraint groups could be applied from now on
  / \
 1   2    <- Left split still fulfills both constraint groups.
/ \ / \      Right split at feature 2 has only group {1, 2} from now on.

LightGBM использует ту же логику для перекрывающихся групп.

Обратите внимание, что признаки, не перечисленные в interaction_cst, автоматически помещаются в отдельную группу взаимодействия. Если снова взять 3 признака, то [{0}] эквивалентно [{0}, {1, 2}].

Примеры

• Графики частичной зависимости и индивидуальных условных ожиданий

Литература

1.11.1.1.7. Низкоуровневый параллелизм

HistGradientBoostingClassifier и HistGradientBoostingRegressor используют OpenMP для распараллеливания с помощью Cython. Дополнительные сведения об управлении числом потоков см. в примечаниях о параллелизме.

Параллельно выполняются следующие этапы:

• сопоставление образцов с действительными значениями и бинов с целочисленными значениями (поиск порогов бинов, однако, выполняется последовательно)
• построение гистограмм распараллелено по признакам
• поиск наилучшей точки разбиения в узле распараллелен по признакам
• во время обучения сопоставление образцов с левыми и правыми дочерними узлами распараллелено по образцам
• вычисление градиентов и гессианов распараллелено по образцам
• предсказание распараллелено по образцам

1.11.1.1.8. Почему это быстрее

Узкое место процесса градиентного бустинга — построение деревьев решений. Для построения традиционного дерева решений (как в других реализациях GBDT: GradientBoostingClassifier и GradientBoostingRegressor) требуется сортировать образцы в каждом узле (для каждого признака). Сортировка нужна для эффективного вычисления потенциального выигрыша в точке разбиения. Поэтому сложность разбиения одного узла составляет \(\mathcal{O}(n_\text{features} \times n \log(n)), где \(n\) — число образцов в узле.

В отличие от них, HistGradientBoostingClassifier и HistGradientBoostingRegressor не требуют сортировки значений признаков, а вместо этого используют структуру данных, называемую гистограммой, в которой образцы упорядочены неявно. Построение гистограммы имеет сложность \(\mathcal{O}(n), поэтому сложность процедуры разбиения узла составляет \(\mathcal{O}(n_\text{features} \times n), что намного меньше предыдущей. Кроме того, вместо рассмотрения \(n\) точек разбиения мы рассматриваем только max_bins точек, что может быть значительно меньше.

Для построения гистограмм входные данные X необходимо разбить на бины со значениями типа integer. Эта процедура разбиения на бины требует сортировки значений признаков, но выполняется только один раз, в самом начале процесса бустинга (а не в каждом узле, как в GradientBoostingClassifier и GradientBoostingRegressor).

Вторая важная причина более высокой скорости заключается в том, что HistGradientBoostingClassifier и HistGradientBoostingRegressor используют информацию второго порядка о функции потерь, то есть гессиан. Этот метод называется бустингом Ньютона и позволяет обойтись без этапа линейного поиска, используемого в обычном градиентном бустинге.

Наконец, многие части реализации HistGradientBoostingClassifier и HistGradientBoostingRegressor распараллелены.

Литература

1.11.1.2.1. Добавление слабых моделей

И GradientBoostingRegressor, и GradientBoostingClassifier поддерживают warm_start=True, позволяющий добавлять оцениватели в уже обученную модель.

>>> import numpy as np
>>> from sklearn.metrics import mean_squared_error
>>> from sklearn.datasets import make_friedman1
>>> from sklearn.ensemble import GradientBoostingRegressor

>>> X, y = make_friedman1(n_samples=1200, random_state=0, noise=1.0)
>>> X_train, X_test = X[:200], X[200:]
>>> y_train, y_test = y[:200], y[200:]
>>> est = GradientBoostingRegressor(
...     n_estimators=100, learning_rate=0.1, max_depth=1, random_state=0,
...     loss='squared_error'
... )
>>> est = est.fit(X_train, y_train)  # fit with 100 trees
>>> mean_squared_error(y_test, est.predict(X_test))
5.00
>>> _ = est.set_params(n_estimators=200, warm_start=True)  # set warm_start and increase num of trees
>>> _ = est.fit(X_train, y_train) # fit additional 100 trees to est
>>> mean_squared_error(y_test, est.predict(X_test))
3.84

1.11.1.2.2. Контроль размера дерева

Размер базовых деревьев регрессии определяет уровень взаимодействия переменных, который может учитывать модель градиентного бустинга. В общем случае дерево глубины h может учитывать взаимодействия порядка h. Существует два способа контролировать размер отдельных деревьев регрессии.

Если задать max_depth=h, будут построены полные бинарные деревья глубины h. Такие деревья будут иметь не более 2**h листовых узлов и 2**h - 1 узлов разбиения.

Также можно контролировать размер дерева, задав количество листовых узлов с помощью параметра max_leaf_nodes. В этом случае деревья будут строиться методом поиска по принципу «сначала лучший»: сначала расширяются узлы с наибольшим снижением неоднородности. Дерево с max_leaf_nodes=k имеет k - 1 узлов разбиения и, следовательно, может моделировать взаимодействия вплоть до порядка max_leaf_nodes - 1.

Мы обнаружили, что max_leaf_nodes=k даёт результаты, сопоставимые с max_depth=k-1, но обучается значительно быстрее, хотя ошибка на обучающей выборке немного выше. Параметр max_leaf_nodes соответствует переменной J в главе о градиентном бустинге в [Friedman2001] и связан с параметром interaction.depth в пакете gbm для R, где max_leaf_nodes == interaction.depth + 1.

1.11.1.2.3. Математическая формулировка

Сначала рассмотрим GBRT для регрессии, а затем подробно разберём случай классификации.

1.11.1.2.4. Функции потерь

Поддерживаются следующие функции потерь; их можно задать с помощью параметра loss:

1.11.1.2.5. Сжатие с помощью скорости обучения

В работе [Friedman2001] предложена простая стратегия регуляризации, которая масштабирует вклад каждой слабой модели постоянным коэффициентом \(\nu\):

Параметр \(\nu\) также называют скоростью обучения, поскольку он масштабирует длину шага процедуры градиентного спуска; его можно задать параметром learning_rate.

Параметр learning_rate сильно взаимодействует с параметром n_estimators, задающим количество обучаемых слабых моделей. При меньших значениях learning_rate для сохранения постоянной ошибки на обучающей выборке требуется больше слабых моделей. Эмпирические данные показывают, что малые значения learning_rate способствуют снижению ошибки на тестовой выборке. В [HTF] рекомендуется задать небольшую постоянную скорость обучения (например, learning_rate <= 0.1) и выбрать достаточно большое значение n_estimators, чтобы можно было использовать раннюю остановку. Подробнее о взаимодействии learning_rate и n_estimators см. Ранняя остановка в градиентном бустинге и [R2007].

1.11.1.2.6. Подвыборка

В работе [Friedman2002] предложен стохастический градиентный бустинг, сочетающий градиентный бустинг с усреднением по бутстрэп-выборкам (бэггингом). На каждой итерации базовый классификатор обучается на доле subsample доступных обучающих данных. Подвыборка формируется без возвращения. Типичное значение subsample — 0.5.

На рисунке ниже показано влияние сжатия и подвыборки на качество подгонки модели. Хорошо видно, что сжатие эффективнее, чем отсутствие сжатия. Подвыборка в сочетании со сжатием может дополнительно повысить точность модели. Подвыборка без сжатия, напротив, даёт плохие результаты.

Ещё один способ уменьшить дисперсию — выполнять подвыборку признаков, аналогично случайному выбору при разбиениях в RandomForestClassifier. Количество признаков в подвыборке можно контролировать с помощью параметра max_features.

Стохастический градиентный бустинг позволяет вычислять оценки тестового девианса вне обучающей выборки, измеряя улучшение девианса на примерах, не включённых в бутстрэп-выборку (то есть на примерах вне обучающей выборки). Улучшения хранятся в атрибуте oob_improvement_. oob_improvement_[i] содержит улучшение функции потерь на примерах вне обучающей выборки при добавлении i-го этапа к текущим прогнозам. Такие оценки можно использовать для выбора модели, например для определения оптимального количества итераций. Оценки вне обучающей выборки обычно очень пессимистичны, поэтому мы рекомендуем использовать вместо них кросс-валидацию и прибегать к оценкам вне обучающей выборки, только если кросс-валидация занимает слишком много времени.

Примеры

• Регуляризация градиентного бустинга
• Оценки градиентного бустинга вне обучающей выборки
• Ошибки вне обучающей выборки для случайных лесов

1.11.1.2.7. Интерпретация с помощью важности признаков

Отдельные деревья решений легко интерпретировать, просто визуализировав их структуру. Однако модели градиентного бустинга состоят из сотен деревьев регрессии, поэтому их нельзя легко интерпретировать, визуально изучая отдельные деревья. К счастью, предложен ряд методов для обобщения и интерпретации моделей градиентного бустинга.

Часто признаки вносят неодинаковый вклад в прогноз целевого отклика; во многих ситуациях большинство признаков фактически несущественны. При интерпретации модели обычно в первую очередь задаются вопросом: какие признаки важны и как они влияют на прогноз целевого отклика?

Отдельные деревья решений автоматически выполняют отбор признаков, выбирая подходящие точки разбиения. Эту информацию можно использовать для измерения важности каждого признака. Основная идея такова: чем чаще признак используется в точках разбиения дерева, тем он важнее. Это понятие важности можно распространить на ансамбли деревьев решений, просто усреднив важность признаков, основанную на неоднородности, для каждого дерева (подробнее см. Оценка важности признаков).

Оценки важности признаков обученной модели градиентного бустинга доступны через свойство feature_importances_:

>>> from sklearn.datasets import make_hastie_10_2
>>> from sklearn.ensemble import GradientBoostingClassifier

>>> X, y = make_hastie_10_2(random_state=0)
>>> clf = GradientBoostingClassifier(n_estimators=100, learning_rate=1.0,
...     max_depth=1, random_state=0).fit(X, y)
>>> clf.feature_importances_
array([0.107, 0.105, 0.113, 0.0987, 0.0947,
       0.107, 0.0916, 0.0972, 0.0958, 0.0906])

Обратите внимание, что данное вычисление важности признаков основано на энтропии и отличается от sklearn.inspection.permutation_importance, которое основано на перестановке признаков.

Примеры

• Градиентный бустинг для регрессии

Литература