Градиентный бустинг для классификации

classsklearn.ensemble.GradientBoostingClassifier(*, loss='log_loss', learning_rate=0.1, n_estimators=100, subsample=1.0, criterion='friedman_mse', min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_depth=3, min_impurity_decrease=0.0, init=None, random_state=None, max_features=None, verbose=0, max_leaf_nodes=None, warm_start=False, validation_fraction=0.1, n_iter_no_change=None, tol=0.0001, ccp_alpha=0.0)[source]

Алгоритм градиентного бустинга для классификации.

Этот алгоритм строит аддитивную модель поэтапно; он позволяет оптимизировать произвольные дифференцируемые функции потерь. На каждом этапе n_classes_ регрессионные деревья подгоняются к отрицательному градиенту функции потерь, например, бинарной или многоклассовой логарифмической потере. Бинарная классификация является частным случаем, где индуцируется только одно регрессионное дерево.

HistGradientBoostingClassifier — это намного более быстрый вариант этого алгоритма для средних и больших наборов данных (n_samples >= 10_000) и поддерживает монотонные ограничения.

Дополнительную информацию см. в Руководстве пользователя.

Параметры:

loss{‘log_loss’, ‘exponential’}, default=’log_loss’

Функция потерь, подлежащая оптимизации. ‘log_loss’ относится к биномиальному и многоклассовому отклонению, так же, как и в логистической регрессии. Это хороший выбор для классификации с вероятностными выходами. Для функции потерь ‘exponential’ градиентное усиление восстанавливает алгоритм AdaBoost.

learning_ratefloat, default=0.1

Скорость обучения уменьшает вклад каждого дерева на learning_rate. Существует компромисс между learning_rate и n_estimators. Значения должны находиться в диапазоне [0.0, inf).

n_estimatorsint, default=100

Количество этапов усиления. Градиентное усиление достаточно устойчиво к переобучению, поэтому большое число обычно приводит к лучшей производительности. Значения должны находиться в диапазоне [1, inf).

subsamplefloat, default=1.0

Доля выборок, используемых для обучения отдельных базовых решающих деревьев. Если меньше 1,0, это приводит к стохастическому градиентному усилению. subsample взаимодействует с параметром n_estimators. Выбор subsample < 1.0 приводит к уменьшению дисперсии и увеличению смещения. Значения должны находиться в диапазоне (0.0, 1.0].

criterion{‘friedman_mse’, ‘squared_error’}, default=’friedman_mse’

Функция измерения качества разбиения. Поддерживаемые критерии: ‘friedman_mse’ — среднеквадратичная ошибка с улучшением по Фридману, ‘squared_error’ — среднеквадратичная ошибка. Значение по умолчанию ‘friedman_mse’ обычно является лучшим, так как оно может обеспечить лучшую аппроксимацию в некоторых случаях.

Добавлен в версии 0.18.

min_samples_splitint or float, default=2

Минимальное количество образцов, необходимое для разделения внутреннего узла:

• Если int, значения должны находиться в диапазоне [2, inf).
• Если float, значения должны находиться в диапазоне (0.0, 1.0] и min_samples_split будут ceil(min_samples_split * n_samples).

Изменено в версии 0.18: Добавлены значения с плавающей точкой для дробей.

min_samples_leafint or float, default=1

Минимальное количество образцов, необходимых для нахождения в листе. Точка разбиения на любой глубине будет рассматриваться только в том случае, если она оставляет по меньшей мере min_samples_leaf обучающих образцов в каждом из левого и правого ветвей. Это может иметь эффект сглаживания модели, особенно в регрессии.

• Если int, значения должны находиться в диапазоне [1, inf).
• Если float, значения должны находиться в диапазоне (0.0, 1.0) и min_samples_leaf будут ceil(min_samples_leaf * n_samples).

Изменено в версии 0.18: Добавлены значения с плавающей точкой для дробей.

min_weight_fraction_leaffloat, default=0.0

Минимальная весовая доля суммы общих весов (всех входных образцов), необходимых для нахождения в листе. Образцы имеют одинаковый вес, когда sample_weight не задан. Значения должны находиться в диапазоне [0.0, 0.5].

max_depthint or None, default=3

Максимальная глубина отдельных регрессионных оценок. Максимальная глубина ограничивает число узлов в дереве. Настройте этот параметр для достижения наилучшей производительности; лучшее значение зависит от взаимодействия входных переменных. Если None, то узлы расширяются до тех пор, пока все листья не будут чистыми или пока все листья не будут содержать меньше, чем min_samples_split образцов. Если int, значения должны находиться в диапазоне [1, inf).

min_impurity_decreasefloat, default=0.0

Узел будет разделен, если это разделение вызовет уменьшение нечистоты, равное или большее этому значению. Значения должны находиться в диапазоне [0.0, inf).

Уравнение взвешенного уменьшения нечистоты следующее:

N_t / N * (impurity - N_t_R / N_t * right_impurity
                    - N_t_L / N_t * left_impurity)

где N — общее число образцов, N_t — число образцов в текущем узле, N_t_L — число образцов в левом поддереве, а N_t_R — число образцов в правом поддереве.

N, N_t, N_t_R и N_t_L все относятся к взвешенной сумме, если sample_weight передаётся.

Добавлен в версии 0.19.

initestimator or ‘zero’, default=None

Объект оценщика, используемый для вычисления начальных предсказаний. init должен предоставлять fit и predict_proba. Если ‘zero’, начальные необработанные предсказания устанавливаются в ноль. По умолчанию используется DummyEstimator для предсказания классов априори.

random_stateint, RandomState instance or None, default=None

Управляет случайным зерном, задаваемым для каждого решающего дерева на каждом итерации усиления. Кроме того, он управляет случайной перестановкой признаков на каждом разбиении (подробнее см. Примечания). Он также управляет случайным разделением обучающих данных для получения проверочного набора, если n_iter_no_change не равно None. Передайте целое число для воспроизводимого результата при нескольких вызовах функции. См. Справочник.

max_features{‘sqrt’, ‘log2’}, int or float, default=None

Количество признаков, подлежащих рассмотрению при поиске лучшего разбиения:

• Если int, значения должны находиться в диапазоне [1, inf).
• Если float, значения должны находиться в диапазоне (0.0, 1.0] и рассматриваемые признаки на каждом разбиении будут max(1, int(max_features * n_features_in_)).
• Если ‘sqrt’, то max_features=sqrt(n_features).
• Если ‘log2’, то max_features=log2(n_features).
• Если None, то max_features=n_features.

Выбор max_features < n_features приводит к уменьшению дисперсии и увеличению смещения.

Примечание: поиск разбиения не останавливается, пока не найдено по крайней мере одно допустимое разбиение образцов узла, даже если это требует эффективного просмотра более чем max_features признаков.

verboseint, default=0

Включить подробный вывод. Если 1, то он печатает прогресс и производительность время от времени (чем больше деревьев, тем ниже частота). Если больше 1, то он печатает прогресс и производительность для каждого дерева. Значения должны находиться в диапазоне [0, inf).

max_leaf_nodesint, default=None

Выращивание деревьев с max_leaf_nodes в порядке наилучшего поиска. Лучшие узлы определяются как относительное уменьшение нечистоты. Значения должны находиться в диапазоне [2, inf). Если None, то количество листьев не ограничено.

warm_startbool, default=False

Если установлено в True, повторно используйте решение предыдущего вызова fit и добавьте больше оценщиков в ансамбль, в противном случае просто удалите предыдущее решение. См. Справочник.

validation_fractionfloat, default=0.1

Пропорция обучающих данных, отводимых в качестве проверочного набора для ранней остановки. Значения должны находиться в диапазоне (0.0, 1.0). Используется только если n_iter_no_change установлено в целое число.

Добавлен в версии 0.20.

n_iter_no_changeint, default=None

n_iter_no_change используется для определения, будет ли использоваться ранняя остановка для завершения обучения, когда оценка валидации не улучшается. По умолчанию он установлен в None для отключения ранней остановки. Если установлено в число, оно отложит validation_fraction размера обучающих данных как проверочный набор и завершит обучение, когда оценка валидации не улучшается во всех предыдущих n_iter_no_change числа итераций. Разделение стратифицировано. Значения должны находиться в диапазоне [1, inf). См. Ранняя остановка в градиентном усилении.

Добавлен в версии 0.20.

tolfloat, default=1e-4

Допуск для ранней остановки. Когда потеря не улучшается как минимум на tol в течение n_iter_no_change итераций (если установлено в число), обучение останавливается. Значения должны находиться в диапазоне [0.0, inf).

Добавлен в версии 0.20.

ccp_alphaнеотрицательное число с плавающей точкой, default=0.0

Параметр сложности, используемый для обрезки с минимальной сложностью стоимости. Поддерево с наибольшей сложностью стоимости, которая меньше ccp_alpha будет выбрано. По умолчанию обрезка не выполняется. Значения должны находиться в диапазоне [0.0, inf). Подробности см. в разделе Минимальная обрезка сложности стоимости. Пример такой обрезки см. в разделе Обрезка деревьев принятия решений с обрезкой минимальной сложности стоимости.

Добавлен в версии 0.22.

Атрибуты:

n_estimators_int

Количество оценщиков, выбранное по раннему прекращению обучения (если указано n_iter_no_change). В противном случае оно устанавливается в n_estimators.

Добавлен в версии 0.20.

n_trees_per_iteration_int

Количество деревьев, построенных на каждой итерации. Для бинарных классификаторов это всегда 1.

Добавлен в версии 1.4.0.

feature_importances_ndarray of shape (n_features,)

Важность признаков, основанная на нечистоте.

oob_improvement_ndarray of shape (n_estimators,)

Улучшение потери на вневыборочных образцах по отношению к предыдущей итерации. oob_improvement_[0] — это улучшение потери первой стадии по отношению к оценщику init. Доступно только если subsample < 1.0.

oob_scores_ndarray of shape (n_estimators,)

Полная история значений потерь на вневыборочных образцах. Доступно только если subsample < 1.0.

Добавлен в версии 1.3.

oob_score_float

Последнее значение потери на вневыборочных образцах. Оно совпадает с oob_scores_[-1]. Доступно только если subsample < 1.0.

Добавлен в версии 1.3.

train_score_ndarray of shape (n_estimators,)

i-й показатель train_score_[i] — это потеря модели на итерации i на внутривыборочном образце. Если subsample == 1, это потеря на обучающих данных.

init_estimator

Оценщик, предоставляющий начальные предсказания. Устанавливается через аргумент init.

estimators_ndarray of DecisionTreeRegressor of shape (n_estimators, n_trees_per_iteration_)

Коллекция обученных под-оценщиков. n_trees_per_iteration_ равно 1 для бинарной классификации, в противном случае n_classes.

classes_ndarray of shape (n_classes,)

Метки классов.

n_features_in_int

Количество признаков, увиденных во время fit.

Добавлен в версии 0.24.

feature_names_in_ndarray of shape (n_features_in_,)

Названия признаков, увиденные во время fit. Определены только когда X имеет имена признаков, которые все являются строками.

Добавлен в версии 1.0.

n_classes_int

Количество классов.

max_features_int

Выведенное значение max_features.

См. также

HistGradientBoostingClassifier

Дерево классификации с градиентным бустингом на основе гистограмм.

sklearn.tree.DecisionTreeClassifier

Классификатор дерева решений.

RandomForestClassifier

Мета-оценщик, который подгоняет несколько классификаторов деревьев решений к различным подвыборкам набора данных и использует усреднение для повышения точности предсказаний и контроля переобучения.

AdaBoostClassifier

Мета-оценщик, который начинает с подгонки классификатора к исходному набору данных, а затем подгоняет дополнительные копии классификатора к тому же набору данных, где веса неправильно классифицированных экземпляров корректируются таким образом, что последующие классификаторы больше сосредоточиваются на сложных случаях.

Примечания

Признаки всегда случайным образом переставляются на каждом разбиении. Поэтому наилучшее найденное разбиение может меняться, даже с теми же обучающими данными и max_features=n_features, если улучшение критерия идентично для нескольких разбиений, перечисленных во время поиска наилучшего разбиения. Для получения детерминированного поведения во время подгонки, random_state должен быть фиксированным.

Ссылки

J. Friedman, Greedy Function Approximation: A Gradient Boosting Machine, The Annals of Statistics, Vol. 29, No. 5, 2001.

10. Friedman, Stochastic Gradient Boosting, 1999

T. Hastie, R. Tibshirani и J. Friedman. Elements of Statistical Learning Ed. 2, Springer, 2009.

Примеры

В следующем примере показано, как подготовить классификатор градиентного бустинга с 100 древовидными «пеньками» в качестве слабых обучаемых элементов.

>>> from sklearn.datasets import make_hastie_10_2
>>> from sklearn.ensemble import GradientBoostingClassifier

>>> X, y = make_hastie_10_2(random_state=0)
>>> X_train, X_test = X[:2000], X[2000:]
>>> y_train, y_test = y[:2000], y[2000:]

>>> clf = GradientBoostingClassifier(n_estimators=100, learning_rate=1.0,
...     max_depth=1, random_state=0).fit(X_train, y_train)
>>> clf.score(X_test, y_test)
0.913...

apply(X)[source]

Применение деревьев ансамбля к X, возврат индексов листьев.

Добавлен в версии 0.17.

Параметры:

X{array-like, sparse matrix} of shape (n_samples, n_features)

Входные образцы. Внутри его тип данных будет преобразован в dtype=np.float32. Если предоставлена разреженная матрица, она будет преобразована в разреженную csr_matrix.

Возвращает:

X_leavesarray-like of shape (n_samples, n_estimators, n_classes)

Для каждой точки данных x в X и для каждого дерева в ансамбле возвращается индекс листа, в который попадает x в каждом оценщике. В случае бинарной классификации n_classes равно 1.

decision_function(X)[source]

Вычисление функции принятия решений для X.

Параметры:

X{array-like, sparse matrix} of shape (n_samples, n_features)

Входные образцы. Внутри он будет преобразован в dtype=np.float32 и, если предоставлена разреженная матрица, в разреженную csr_matrix.

Возвращает:

scorendarray of shape (n_samples, n_classes) or (n_samples,)

Функция принятия решений для входных образцов, которая соответствует сырым значениям, предсказанным деревьями ансамбля. Порядок классов соответствует порядку в атрибуте classes_. Регрессия и бинарная классификация производят массив формы (n_samples,).

propertyfeature_importances_

Важность признаков, основанная на нечистоте.

Чем выше, тем важнее признак. Важность признака вычисляется как (нормализованное) общее уменьшение критерия, принесенное этим признаком. Также известно как важность Джини.

Предупреждение: важность признаков, основанная на нечистоте, может вводить в заблуждение для признаков с высокой размерностью (много уникальных значений). См. sklearn.inspection.permutation_importance в качестве альтернативы.

Возвращает:

feature_importances_ndarray of shape (n_features,)

Значения этого массива суммируются до 1, за исключением случаев, когда все деревья являются одноузловыми деревьями, состоящими только из корневого узла, в этом случае это будет массив нулей.

fit(X, y, sample_weight=None, monitor=None)[source]

Обучить модель градиентного бустинга.

Параметры:

X{массив, разреженная матрица} формы (n_samples, n_features)

Входящие данные. Внутри они будут преобразованы в dtype=np.float32 и, если предоставлена разреженная матрица, в разреженную csr_matrix.

yмассив формы (n_samples,)

Значения целевой переменной (строки или целые числа в классификации, вещественные числа в регрессии). Для классификации метки должны соответствовать классам.

sample_weightмассив формы (n_samples,), по умолчанию=None

Веса выборок. Если None, то все выборки имеют одинаковый вес. Разбиения, которые бы создали дочерние узлы с общим весом равным нулю или меньше нуля, игнорируются при поиске разбиения в каждом узле. В случае классификации разбиения также игнорируются, если они бы привели к тому, что вес любого класса в любом из дочерних узлов стал отрицательным.

monitorфункция, по умолчанию=None

Функция-монитор вызывается после каждой итерации с текущей итерацией, ссылкой на оценок и локальными переменными _fit_stages в качестве аргументов callable(i, self, locals()). Если вызываемая функция возвращает True, процедура обучения останавливается. Монитор может использоваться для различных целей, таких как вычисление оценок с помощью отложенной выборки, остановки обучения по критерию раннего прекращения, интроспекции модели и сохранения состояния модели.

Возвращает:

selfобъект

Обученная модель.

get_metadata_routing()[source]

Получить маршрутизацию метаданных этого объекта.

Пожалуйста, ознакомьтесь с Руководством пользователя по тому, как работает механизм маршрутизации.

Возвращает:

routingMetadataRequest

Объект MetadataRequest, содержащий информацию о маршрутизации.

get_params(deep=True)[source]

Получить параметры этого оценщика.

Параметры:

deepbool, по умолчанию=True

Если True, возвращает параметры этого оценщика и вложенных под-объектов, являющихся оценщиками.

Возвращает:

paramsсловарь

Имена параметров и их значения.

predict(X)[source]

Предсказать класс для X.

Параметры:

X{массив, разреженная матрица} формы (n_samples, n_features)

Входящие данные. Внутри они будут преобразованы в dtype=np.float32 и, если предоставлена разреженная матрица, в разреженную csr_matrix.

Возвращает:

yмассив формы (n_samples,)

Предсказанные значения.

predict_log_proba(X)[source]

Предсказать логарифмы вероятностей классов для X.

Параметры:

X{массив, разреженная матрица} формы (n_samples, n_features)

Входящие данные. Внутри они будут преобразованы в dtype=np.float32 и, если предоставлена разреженная матрица, в разреженную csr_matrix.

Возвращает:

pмассив формы (n_samples, n_classes)

Логарифмы вероятностей классов входных выборок. Порядок классов соответствует порядку в атрибуте classes_.

Возможные исключения:

AttributeError

Если loss не поддерживает вычисление вероятностей.

predict_proba(X)[source]

Предсказать вероятности классов для X.

Параметры:

X{массив, разреженная матрица} формы (n_samples, n_features)

Входящие данные. Внутри они будут преобразованы в dtype=np.float32 и, если предоставлена разреженная матрица, в разреженную csr_matrix.

Возвращает:

pмассив формы (n_samples, n_classes)

Вероятности классов для входных выборок. Порядок классов соответствует порядку в атрибуте classes_.

Возможные исключения:

AttributeError

Если loss не поддерживает вычисление вероятностей.

score(X, y, sample_weight=None)[source]

Возвращает среднюю точность на заданных тестовых данных и метках.

В многоклассовой классификации это точность подмножества, которая является жёстким метрикой, так как требуется, чтобы для каждой выборки каждый набор меток был правильно предсказан.

Параметры:

Xмассив формы (n_samples, n_features)

Тестовые выборки.

yмассив формы (n_samples,) или (n_samples, n_outputs)

Истинные метки для X.

sample_weightмассив формы (n_samples,), по умолчанию=None

Веса выборок.

Возвращает:

scoreчисло с плавающей точкой

Средняя точность self.predict(X) по отношению к y.

set_fit_request(*, monitor:bool|None|str='$UNCHANGED$', sample_weight:bool|None|str='$UNCHANGED$') → GradientBoostingClassifier[source]

Запрос метаданных, передаваемых методу fit.

Обратите внимание, что этот метод актуален только если enable_metadata_routing=True, (см. sklearn.set_config). Пожалуйста, ознакомьтесь с Руководством пользователя по принципу работы механизма маршрутизации.

Варианты для каждого параметра:

• True: запрашиваются метаданные, и передаются методу fit, если они предоставлены. Запрос игнорируется, если метаданные не предоставлены.
• False: метаданные не запрашиваются, и мета-оценщик не будет передавать их методу fit.
• None: метаданные не запрашиваются, и мета-оценщик выведет ошибку, если пользователь их предоставит.
• str: метаданные должны быть переданы мета-оценщику с этим псевдонимом вместо исходного названия.

По умолчанию (sklearn.utils.metadata_routing.UNCHANGED) сохраняется существующий запрос. Это позволяет изменить запрос для некоторых параметров, а не для всех.

Добавлена в версии 1.3.

Примечание

Этот метод актуален только если этот оценщик используется в качестве под-оценщика мета-оценщика, например, внутри Pipeline. В противном случае он не оказывает влияния.

Parameters:

monitorstr, True, False, or None, default=sklearn.utils.metadata_routing.UNCHANGED

Маршрутизация метаданных для параметра monitor в методе fit.

sample_weightstr, True, False, or None, default=sklearn.utils.metadata_routing.UNCHANGED

Маршрутизация метаданных для параметра sample_weight в методе fit.

Returns:

selfobject

Объект с обновлёнными параметрами.

set_params(**params)[source]

Устанавливает параметры данного оценщика.

Метод работает как с простыми оценщиками, так и со вложенными объектами (такими как Pipeline). Последние имеют параметры вида <component>__<parameter>, чтобы можно было обновлять каждый компонент вложенного объекта.

Parameters:

**paramsdict

Параметры оценщика.

Returns:

selfэкземпляр оценщика

Экземпляр оценщика.

set_score_request(*, sample_weight:bool|None|str='$UNCHANGED$') → GradientBoostingClassifier[source]

Запрос метаданных, передаваемых методу score.

Обратите внимание, что этот метод актуален только если enable_metadata_routing=True, (см. sklearn.set_config). Пожалуйста, ознакомьтесь с Руководством пользователя по принципу работы механизма маршрутизации.

Варианты для каждого параметра:

• True: запрашиваются метаданные, и передаются методу score, если они предоставлены. Запрос игнорируется, если метаданные не предоставлены.
• False: метаданные не запрашиваются, и мета-оценщик не будет передавать их методу score.
• None: метаданные не запрашиваются, и мета-оценщик выведет ошибку, если пользователь их предоставит.
• str: метаданные должны быть переданы мета-оценщику с этим псевдонимом вместо исходного названия.

По умолчанию (sklearn.utils.metadata_routing.UNCHANGED) сохраняется существующий запрос. Это позволяет изменить запрос для некоторых параметров, а не для всех.

Добавлена в версии 1.3.

Примечание

Этот метод актуален только если этот оценщик используется в качестве под-оценщика мета-оценщика, например, внутри Pipeline. В противном случае он не оказывает влияния.

Parameters:

sample_weightstr, True, False, or None, default=sklearn.utils.metadata_routing.UNCHANGED

Маршрутизация метаданных для параметра sample_weight в методе score.

Returns:

selfobject

Объект с обновлёнными параметрами.

staged_decision_function(X)[source]

Вычисляет функцию принятия решения X для каждой итерации.

Этот метод позволяет отслеживать (т. е. определять ошибку на тестовом наборе) после каждой стадии.

Parameters:

X{array-like, sparse matrix} of shape (n_samples, n_features)

Входные образцы. Внутренне преобразуется в dtype=np.float32 и, если предоставлена разреженная матрица, в разреженную csr_matrix.

Yields:

scoreгенератор ndarray формы (n_samples, k)

Функция принятия решений входных образцов, которая соответствует необработанным значениям, предсказанным деревьями ансамбля. Классы соответствуют значениям в атрибуте classes_. Регрессия и бинарная классификация являются частными случаями с k == 1, в противном случае k==n_classes.

staged_predict(X)[source]

Предсказание класса на каждой стадии для X.

Этот метод позволяет отслеживать (т.е. определять ошибку на тестовом наборе) после каждой стадии.

Параметры:

X{array-like, sparse matrix} формы (n_samples, n_features)

Входные образцы. Внутренне, они будут преобразованы в dtype=np.float32 и, если предоставлена разреженная матрица, в разреженную csr_matrix.

Возвращаемые значения:

yгенератор ndarray формы (n_samples,)

Предсказанное значение входных образцов.

staged_predict_proba(X)[source]

Предсказание вероятностей классов на каждой стадии для X.

Этот метод позволяет отслеживать (т.е. определять ошибку на тестовом наборе) после каждой стадии.

Параметры:

X{array-like, sparse matrix} формы (n_samples, n_features)

Входные образцы. Внутренне, они будут преобразованы в dtype=np.float32 и, если предоставлена разреженная матрица, в разреженную csr_matrix.

Возвращаемые значения:

yгенератор ndarray формы (n_samples,)

Предсказанное значение входных образцов.

Примеры из галереи

Преобразование признаков с помощью ансамблей деревьев

Оценки Gradient Boosting Out-of-Bag

Регуляризация Gradient Boosting

Дискретизация признаков