Примечание
Перейти в конец, чтобы скачать полный код примера или запустить этот пример в браузере с помощью JupyterLite или Binder.
Регрессия с помощью дерева решений
В этом примере мы демонстрируем, как изменение максимальной глубины дерева решений влияет на его подгонку к данным. Мы делаем это сначала для задачи регрессии с одним выходом, а затем для задачи регрессии с несколькими выходами.
# Authors: The scikit-learn developers # SPDX-License-Identifier: BSD-3-Clause
Дерево решений для задачи регрессии с одним выходом
Здесь мы обучаем дерево для задачи регрессии с одним выходом.
Деревья решений используются для аппроксимации синусоиды с добавлением шумовых наблюдений. В результате модель обучается локальным линейным регрессиям, приближающим синусоиду.
Можно заметить, что если максимальная глубина дерева (задаваемая параметром max_depth) слишком велика, деревья решений учитывают слишком мелкие детали обучающих данных и обучаются на шуме, то есть переобучаются.
Создание случайного одномерного набора данных
import numpy as np rng = np.random.RandomState(1) X = np.sort(5 * rng.rand(80, 1), axis=0) y = np.sin(X).ravel() y[::5] += 3 * (0.5 - rng.rand(16))
Обучение модели регрессии
Здесь мы обучаем две модели с разными значениями максимальной глубины
from sklearn.tree import DecisionTreeRegressor regr_1 = DecisionTreeRegressor(max_depth=2) regr_2 = DecisionTreeRegressor(max_depth=5) regr_1.fit(X, y) regr_2.fit(X, y)
Предсказание
Получение предсказаний для тестового набора
X_test = np.arange(0.0, 5.0, 0.01)[:, np.newaxis] y_1 = regr_1.predict(X_test) y_2 = regr_2.predict(X_test)
Построение графика результатов
import matplotlib.pyplot as plt
plt.figure()
plt.scatter(X, y, s=20, edgecolor="black", c="darkorange", label="data")
plt.plot(X_test, y_1, color="cornflowerblue", label="max_depth=2", linewidth=2)
plt.plot(X_test, y_2, color="yellowgreen", label="max_depth=5", linewidth=2)
plt.xlabel("data")
plt.ylabel("target")
plt.title("Decision Tree Regression")
plt.legend()
plt.show()
Как видно, модель с глубиной 5 (жёлтая) учитывает детали обучающих данных настолько подробно, что переобучается на шуме. В то же время модель с глубиной 2 (синяя) хорошо улавливает основные закономерности данных и не переобучается. В реальных задачах необходимо следить за тем, чтобы дерево не переобучалось на обучающих данных; для этого можно использовать перекрёстную проверку.
Регрессия дерева решений с целевыми переменными с несколькими выходами
Здесь деревья решений используются для одновременного прогнозирования зашумлённых наблюдений x и y окружности на основе единственного исходного признака. В результате модель обучается локальным линейным регрессиям, приближающим окружность.
Можно заметить, что если максимальная глубина дерева (управляемая параметром max_depth) установлена слишком высокой, деревья решений обучаются слишком мелким деталям обучающих данных и подстраиваются под шум, то есть происходит переобучение.
Создание случайного набора данных
rng = np.random.RandomState(1) X = np.sort(200 * rng.rand(100, 1) - 100, axis=0) y = np.array([np.pi * np.sin(X).ravel(), np.pi * np.cos(X).ravel()]).T y[::5, :] += 0.5 - rng.rand(20, 2)
Обучение модели регрессии
regr_1 = DecisionTreeRegressor(max_depth=2) regr_2 = DecisionTreeRegressor(max_depth=5) regr_3 = DecisionTreeRegressor(max_depth=8) regr_1.fit(X, y) regr_2.fit(X, y) regr_3.fit(X, y)
Прогнозирование
Получение прогнозов для тестового набора
X_test = np.arange(-100.0, 100.0, 0.01)[:, np.newaxis] y_1 = regr_1.predict(X_test) y_2 = regr_2.predict(X_test) y_3 = regr_3.predict(X_test)
Визуализация результатов
plt.figure()
s = 25
plt.scatter(y[:, 0], y[:, 1], c="yellow", s=s, edgecolor="black", label="data")
plt.scatter(
y_1[:, 0],
y_1[:, 1],
c="cornflowerblue",
s=s,
edgecolor="black",
label="max_depth=2",
)
plt.scatter(y_2[:, 0], y_2[:, 1], c="red", s=s, edgecolor="black", label="max_depth=5")
plt.scatter(y_3[:, 0], y_3[:, 1], c="blue", s=s, edgecolor="black", label="max_depth=8")
plt.xlim([-6, 6])
plt.ylim([-6, 6])
plt.xlabel("target 1")
plt.ylabel("target 2")
plt.title("Multi-output Decision Tree Regression")
plt.legend(loc="best")
plt.show()
Как видно, чем выше значение max_depth, тем больше деталей данных улавливает модель. Однако модель также переобучается на данных и зависит от шума.
Общее время выполнения скрипта: (0 минут 0.313 секунды)
Похожие примеры
© 2007–2026 The scikit-learn developers
Licensed under the 3-clause BSD License.
https://scikit-learn.org/1.9/auto_examples/tree/plot_tree_regression.html
