AdaBoostRegressor

классsklearn.ensemble.AdaBoostRegressor(estimator=None, *, n_estimators=50, learning_rate=1.0, loss='linear', random_state=None)[source]

Регрессор AdaBoost.

Регрессор AdaBoost [1] — это мета-оценщик, который начинает с подгонки регрессора к исходному набору данных, а затем подгоняет дополнительные копии регрессора к тем же данным, но с весами экземпляров, скорректированными в соответствии с ошибкой текущего прогноза. Таким образом, последующие регрессоры больше сосредотачиваются на сложных случаях.

Этот класс реализует алгоритм, известный как AdaBoost.R2 [2].

Подробнее см. в Руководстве пользователя.

Добавлен в версии 0.14.

Параметры:

estimatorобъект, по умолчанию=None: Базовый оцещик, на основе которого построено усиленное ансамбль. Если None, то базовый оцещик — DecisionTreeRegressor, инициализированный max_depth=3.

Добавлен в версии 1.2: base_estimator был переименован в estimator.
n_estimatorsцелое число, по умолчанию=50: Максимальное количество оцещиков, после которого усиление прекращается. В случае точного соответствия процедура обучения останавливается раньше. Значения должны находиться в диапазоне [1, inf).
learning_rateвещественное число, по умолчанию=1.0: Вес, применяемый к каждому регрессору на каждой итерации усиления. Более высокая скорость обучения увеличивает вклад каждого регрессора. Существует компромисс между параметрами learning_rate и n_estimators. Значения должны находиться в диапазоне (0.0, inf).
loss{‘linear’, ‘square’, ‘exponential’}, по умолчанию=’linear’: Функция потерь, используемая при обновлении весов после каждой итерации усиления.
random_stateцелое число, экземпляр RandomState или None, по умолчанию=None: Управляет случайным зерном, задаваемым на каждой estimator на каждой итерации усиления. Таким образом, он используется только тогда, когда estimator предоставляет random_state. Кроме того, он управляет бутстрапом весов, используемых для обучения estimator на каждой итерации усиления. Передайте целое число для воспроизводимого результата при многократном вызове функции. См. Словарь.

Атрибуты:

estimator_оцещик: Базовый оцещик, на основе которого строится ансамбль.

Добавлен в версии 1.2: base_estimator_ был переименован в estimator_.
estimators_список регрессоров: Коллекция обученных под-оцещиков.
estimator_weights_массив вещественных чисел: Веса для каждого оцещика в усиленном ансамбле.
estimator_errors_массив вещественных чисел: Ошибка регрессии для каждого оцещика в усиленном ансамбле.
feature_importances_массив формы (n_features,): Важности признаков на основе нечистоты.
n_features_in_целое число: Количество признаков, увиденных во время fit.

Добавлен в версии 0.24.
feature_names_in_массив формы (n_features_in_,): Названия признаков, увиденные во время fit. Определяется только тогда, когда X имеет имена признаков, которые все являются строками.

Добавлен в версии 1.0.

См. также

AdaBoostClassifier: Классификатор AdaBoost.
GradientBoostingRegressor: Дерево градиентного усиления для классификации.
sklearn.tree.DecisionTreeRegressor: Дерево регрессии.

Ссылки

[1]

Y. Freund, R. Schapire, «Обобщение онлайн-обучения на основе теории принятия решений и его применение к усилению», 1995.

[2]

Drucker, «Улучшение регрессоров с помощью методов усиления», 1997.

Примеры

>>> from sklearn.ensemble import AdaBoostRegressor
>>> from sklearn.datasets import make_regression
>>> X, y = make_regression(n_features=4, n_informative=2,
...                        random_state=0, shuffle=False)
>>> regr = AdaBoostRegressor(random_state=0, n_estimators=100)
>>> regr.fit(X, y)
AdaBoostRegressor(n_estimators=100, random_state=0)
>>> regr.predict([[0, 0, 0, 0]])
array([4.7972...])
>>> regr.score(X, y)
0.9771...

Для подробного примера использования AdaBoostRegressor для подгонки последовательности деревьев решений в качестве слабых обучаемых, пожалуйста, обратитесь к Регрессия дерева решений с AdaBoost.

свойствоfeature_importances_

Важности признаков на основе нечистоты.

Чем выше значение, тем важнее признак. Важность признака вычисляется как (нормализованное) общее уменьшение критерия, внесенное этим признаком. Также известна как важность Джини.

Предупреждение: важности признаков на основе нечистоты могут быть вводящими в заблуждение для признаков с высокой кардинальностью (множество уникальных значений). См. sklearn.inspection.permutation_importance в качестве альтернативы.

Возвращает:

feature_importances_массив формы (n_features,): Важности признаков.

fit(X, y, sample_weight=None)[source]

Построение усиленного классификатора/регрессора из обучающего набора данных (X, y).

Параметры:

X{массив-подобный, разреженная матрица} формы (n_samples, n_features): Входные обучающие образцы. Разреженные матрицы могут быть CSC, CSR, COO, DOK или LIL. COO, DOK и LIL преобразуются в CSR.
yмассив-подобный формы (n_samples,): Целевые значения.
sample_weightмассив-подобный формы (n_samples,), по умолчанию=None: Веса образцов. Если None, веса образцов инициализируются как 1 / n_samples.

Возвращает:

selfобъект: Обученный оцещик.

get_metadata_routing()[source]

Поднять NotImplementedError.

Этот оцещик пока не поддерживает маршрутизацию метаданных.

get_params(deep=True)[source]

Получение параметров для этого оцещика.

Параметры:

deepbool, по умолчанию=True: Если True, вернет параметры для этого оцещика и вложенных под-объектов, которые являются оцещиками.

Возвращает:

paramsсловарь: Имена параметров, сопоставленные с их значениями.

predict(X)[source]

Предсказание значения регрессии для X.

Предсказанное значение регрессии для входного образца вычисляется как взвешенная медианная оценка регрессоров в ансамбле.

Параметры:

X{массив, разреженная матрица} формы (n_samples, n_features): Входные обучающие образцы. Разреженная матрица может быть CSC, CSR, COO, DOK или LIL. COO, DOK и LIL преобразуются в CSR.

Возвращаемое значение:

yмассив формы (n_samples,): Предсказанные значения регрессии.

score(X, y, sample_weight=None)[source]

Возвращает коэффициент детерминации предсказания.

Коэффициент детерминации $R^2$ определяется как $(1 - \frac{u}{v})$, где $u$ — остаточная сумма квадратов ((y_true - y_pred)** 2).sum() и $v$ — общая сумма квадратов ((y_true - y_true.mean()) ** 2).sum(). Лучшее возможное значение — 1.0, и оно может быть отрицательным (потому что модель может быть произвольно хуже). Модель, которая всегда предсказывает ожидаемое значение y, не учитывая входные признаки, получит значение $R^2$ равное 0,0.

Параметры:

Xмассив формы (n_samples, n_features): Тестовые образцы. Для некоторых оценщиков это может быть предварительно вычисленная матрица ядра или список общих объектов вместо этого с формой (n_samples, n_samples_fitted), где n_samples_fitted — количество образцов, используемых при обучении оценщика.
yмассив формы (n_samples,) или (n_samples, n_outputs): Истинные значения для X.
sample_weightмассив формы (n_samples,), по умолчанию=None: Веса образцов.

Возвращаемое значение:

scorefloat: $R^2$ для self.predict(X) относительно y.

Замечания

Значение $R^2$, используемое при вызове score на регрессоре, использует multioutput='uniform_average' с версии 0.23 для согласованности с заданным по умолчанию значением r2_score. Это влияет на метод score всех регрессоров с несколькими выходными значениями (кроме MultiOutputRegressor).

set_fit_request(*, sample_weight:bool|None|str='$UNCHANGED$') → AdaBoostRegressor[source]

Запрос метаданных, передаваемых методу fit.

Обратите внимание, что этот метод актуален только если enable_metadata_routing=True (см. sklearn.set_config). См. Руководство пользователя о том, как работает механизм маршрутизации.

Варианты для каждого параметра:

True: метаданные запрашиваются и передаются fit при их наличии. Запрос игнорируется, если метаданные не предоставлены.
False: метаданные не запрашиваются, и мета-оценщик не передаст их fit.
None: метаданные не запрашиваются, и мета-оценщик вызовет ошибку, если пользователь их предоставит.
str: метаданные должны передаваться мета-оценщику под этим псевдонимом вместо исходного имени.

По умолчанию (sklearn.utils.metadata_routing.UNCHANGED) сохраняется существующий запрос. Это позволяет изменить запрос для некоторых параметров и не изменять другие.

Добавлен в версии 1.3.

Примечание

Этот метод актуален только если этот оценщик используется в качестве под-оценщика мета-оценщика, например, внутри Pipeline. В противном случае он не оказывает никакого влияния.

Параметры:

sample_weightстрока, True, False или None, по умолчанию=sklearn.utils.metadata_routing.UNCHANGED: Маршрутизация метаданных для параметра sample_weight в fit.

Возвращаемое значение:

selfобъект: Обновленный объект.

set_params(**params)[source]

Установить параметры этого оценщика.

Метод работает как с простыми оценщиками, так и с вложенными объектами (такими как Pipeline). Последние имеют параметры в формате <component>__<parameter>, чтобы можно было обновлять каждый компонент вложенного объекта.

Параметры:

**paramsdict: Параметры оценщика.

Возвращаемое значение:

selfэкземпляр оценщика: Экземпляр оценщика.

set_score_request(*, sample_weight:bool|None|str='$UNCHANGED$') → AdaBoostRegressor[source]

Запрос метаданных, переданных методу score.

Обратите внимание, что этот метод актуален только если enable_metadata_routing=True (см. sklearn.set_config). Пожалуйста, ознакомьтесь с Руководством пользователя для понимания механизма маршрутизации.

Варианты для каждого параметра:

True: метаданные запрашиваются и передаются в score при наличии. Запрос игнорируется, если метаданные не предоставлены.
False: метаданные не запрашиваются, и мета-оценщик не передаст их score.
None: метаданные не запрашиваются, и мета-оценщик выведет ошибку, если пользователь их предоставит.
str: метаданные должны передаваться мета-оценщику с этим псевдонимом вместо оригинального названия.

По умолчанию (sklearn.utils.metadata_routing.UNCHANGED): сохраняется существующий запрос. Это позволяет изменять запрос для некоторых параметров, а не для всех.

Добавлен в версии 1.3.

Примечание

Этот метод актуален только в том случае, если данный оценщик используется как под-оценщик мета-оценщика, например, внутри Pipeline. В противном случае он не оказывает влияния.

Parameters:

sample_weightstr, True, False, or None, default=sklearn.utils.metadata_routing.UNCHANGED: Маршрутизация метаданных для параметра sample_weight в score.

Returns:

selfobject: Обновлённый объект.

staged_predict(X)[source]

Возвращает поэтапные прогнозы для X.

Этот генераторный метод возвращает прогноз ансамбля после каждой итерации бустинга, позволяя отслеживать процесс, например, для определения прогноза на тестовом наборе после каждого бустинга.

Parameters:

X{array-like, sparse matrix} of shape (n_samples, n_features): Образцы входных данных для обучения.

Yields:

yгенератор ndarray of shape (n_samples,): Предсказанные значения регрессии.

staged_score(X, y, sample_weight=None)[source]

Возвращает поэтапные оценки для X, y.

Этот генераторный метод возвращает оценку ансамбля после каждой итерации бустинга, позволяя отслеживать процесс, например, для определения оценки на тестовом наборе после каждого бустинга.

Parameters:

X{array-like, sparse matrix} of shape (n_samples, n_features): Образцы входных данных для обучения. Разреженные матрицы могут быть CSC, CSR, COO, DOK или LIL. COO, DOK и LIL преобразуются в CSR.
yarray-like of shape (n_samples,): Метки для X.
sample_weightarray-like of shape (n_samples,), default=None: Веса образцов.

Yields:

zfloat

Примеры галереи

Регрессия дерева решений с AdaBoost

© 2007–2025 The scikit-learn developers
Licensed under the 3-clause BSD License.
https://scikit-learn.org/1.6/modules/generated/sklearn.ensemble.AdaBoostRegressor.html