Деревья решений с многоклассовым AdaBoost

Сходимость AdaBoostClassifier

Чтобы продемонстрировать эффективность бустинга в повышении точности, мы оцениваем ошибку классификации бустированных деревьев и сравниваем её с двумя базовыми оценками. Первая базовая оценка — это misclassification_error, полученная с помощью одной слабой модели (то есть DecisionTreeClassifier), которая служит точкой отсчёта. Вторая базовая оценка получена с помощью DummyClassifier, который предсказывает наиболее часто встречающийся класс в наборе данных.

from sklearn.dummy import DummyClassifier
from sklearn.metrics import accuracy_score

dummy_clf = DummyClassifier()


def misclassification_error(y_true, y_pred):
    return 1 - accuracy_score(y_true, y_pred)


weak_learners_misclassification_error = misclassification_error(
    y_test, weak_learner.fit(X_train, y_train).predict(X_test)
)

dummy_classifiers_misclassification_error = misclassification_error(
    y_test, dummy_clf.fit(X_train, y_train).predict(X_test)
)

print(
    "DecisionTreeClassifier's misclassification_error: "
    f"{weak_learners_misclassification_error:.3f}"
)
print(
    "DummyClassifier's misclassification_error: "
    f"{dummy_classifiers_misclassification_error:.3f}"
)

DecisionTreeClassifier's misclassification_error: 0.475
DummyClassifier's misclassification_error: 0.692

После обучения модели DecisionTreeClassifier достигнутая ошибка оказывается ниже ожидаемого значения, которое было бы получено при угадывании метки наиболее часто встречающегося класса, как это делает DummyClassifier.

Теперь мы вычислим misclassification_error, то есть 1 - accuracy аддитивной модели (DecisionTreeClassifier) на каждой итерации бустинга на тестовом наборе, чтобы оценить её качество.

Мы используем staged_predict, которая выполняет столько итераций, сколько обучено оценивателей (то есть соответствует n_estimators). На итерации n при предсказании AdaBoost использует только n первые слабые модели. Мы сравниваем эти предсказания с истинными метками y_test и таким образом определяем, полезно ли добавлять в последовательность новую слабую модель.

Построим график ошибки классификации для разных этапов:

import matplotlib.pyplot as plt
import pandas as pd

boosting_errors = pd.DataFrame(
    {
        "Number of trees": range(1, n_estimators + 1),
        "AdaBoost": [
            misclassification_error(y_test, y_pred)
            for y_pred in adaboost_clf.staged_predict(X_test)
        ],
    }
).set_index("Number of trees")
ax = boosting_errors.plot()
ax.set_ylabel("Misclassification error on test set")
ax.set_title("Convergence of AdaBoost algorithm")

plt.plot(
    [boosting_errors.index.min(), boosting_errors.index.max()],
    [weak_learners_misclassification_error, weak_learners_misclassification_error],
    color="tab:orange",
    linestyle="dashed",
)
plt.plot(
    [boosting_errors.index.min(), boosting_errors.index.max()],
    [
        dummy_classifiers_misclassification_error,
        dummy_classifiers_misclassification_error,
    ],
    color="c",
    linestyle="dotted",
)
plt.legend(["AdaBoost", "DecisionTreeClassifier", "DummyClassifier"], loc=1)
plt.show()

На графике показана ошибка классификации на тестовом наборе после каждой итерации бустинга. Видно, что после 50 итераций ошибка бустированных деревьев сходится примерно к 0,3, что указывает на существенно более высокую точность по сравнению с одним деревом, как показано пунктирной линией на графике.

Ошибка классификации колеблется, потому что алгоритм SAMME использует дискретные выходы слабых моделей для обучения бустированной модели.

На сходимость AdaBoostClassifier в основном влияют скорость обучения (то есть learning_rate), число используемых слабых моделей (n_estimators) и выразительная способность слабых моделей (например, max_leaf_nodes).

Ошибки и веса слабых моделей

Как упоминалось ранее, AdaBoost — это аддитивная модель с прямым пошаговым построением. Теперь мы рассмотрим взаимосвязь между назначенными слабым моделям весами и их статистическими характеристиками.

Для изучения этой взаимосвязи мы используем атрибуты estimator_errors_ и estimator_weights_ обученного AdaBoostClassifier.

weak_learners_info = pd.DataFrame(
    {
        "Number of trees": range(1, n_estimators + 1),
        "Errors": adaboost_clf.estimator_errors_,
        "Weights": adaboost_clf.estimator_weights_,
    }
).set_index("Number of trees")

axs = weak_learners_info.plot(
    subplots=True, layout=(1, 2), figsize=(10, 4), legend=False, color="tab:blue"
)
axs[0, 0].set_ylabel("Train error")
axs[0, 0].set_title("Weak learner's training error")
axs[0, 1].set_ylabel("Weight")
axs[0, 1].set_title("Weak learner's weight")
fig = axs[0, 0].get_figure()
fig.suptitle("Weak learner's errors and weights for the AdaBoostClassifier")
fig.tight_layout()

На левом графике показана взвешенная ошибка каждой слабой модели на перевзвешенном обучающем наборе на каждой итерации бустинга. На правом графике показаны веса, присвоенные каждой слабой модели и используемые впоследствии для предсказаний итоговой аддитивной модели.

Мы видим, что ошибка слабой модели обратно пропорциональна её весу. Это означает, что аддитивная модель больше доверяет слабой модели с меньшей ошибкой (на обучающем наборе), увеличивая её влияние на итоговое решение. Именно так в AdaBoost после каждой итерации обновляются веса базовых оценивателей.

Ещё одно интересное наблюдение состоит в том, что первые слабые модели в последовательности допускают меньше ошибок, чем последующие.

Это можно объяснить следующим образом: из-за перевзвешивания образцов последующие классификаторы вынуждены пытаться классифицировать более сложные или зашумлённые образцы и игнорировать уже правильно классифицированные. Поэтому общая ошибка на обучающем наборе возрастает. Именно поэтому веса слабых моделей рассчитаны так, чтобы компенсировать более низкую эффективность слабых моделей.

Общее время выполнения скрипта: (0 минут 3.605 секунды)

Download Jupyter notebook: plot_adaboost_multiclass.ipynb

Download Python source code: plot_adaboost_multiclass.py

Download zipped: plot_adaboost_multiclass.zip

Похожие примеры

Регрессия деревьев решений с AdaBoost

Поверхности решений ансамблей деревьев на наборе данных ирисов

Объединение предикторов с помощью стекинга

Ранняя остановка градиентного бустинга