Примечание

Перейти к концу для скачивания полного примера кода. Или запустить этот пример в вашем браузере через JupyterLite или Binder

Регрессия с использованием дерева решений

В этом примере мы демонстрируем влияние изменения максимальной глубины дерева решений на его подгонку к данным. Мы выполним это один раз для задачи регрессии в одном измерении и один раз для задачи регрессии с несколькими выходами.

# Authors: The scikit-learn developers
# SPDX-License-Identifier: BSD-3-Clause

Регрессия с деревом решений на задаче регрессии в одном измерении

Здесь мы подгоняем дерево к задаче регрессии в одном измерении.

Дерево решений используется для подгонки синусоидальной кривой с добавленным шумовым наблюдением. В результате оно обучается локальным линейным регрессиям, аппроксимирующим синусоиду.

Мы можем увидеть, что если максимальная глубина дерева (управляемая параметром max_depth) установлена слишком большой, то деревья решений изучают слишком мелкие детали обучающих данных и учатся из шума, т.е. переобучаются.

Создать случайный набор данных в одном измерении

import numpy as np

rng = np.random.RandomState(1)
X = np.sort(5 * rng.rand(80, 1), axis=0)
y = np.sin(X).ravel()
y[::5] += 3 * (0.5 - rng.rand(16))

Подгонка регрессионной модели

Здесь мы подгоняем две модели с разными максимальными глубинами

from sklearn.tree import DecisionTreeRegressor

regr_1 = DecisionTreeRegressor(max_depth=2)
regr_2 = DecisionTreeRegressor(max_depth=5)
regr_1.fit(X, y)
regr_2.fit(X, y)

DecisionTreeRegressor(max_depth=5)

В среде Jupyter, пожалуйста, перезапустите ячейку, чтобы показать HTML-представление, или доверьтесь блокноту.
На GitHub HTML-представление не может быть отображено, попробуйте загрузить эту страницу с помощью nbviewer.org.

Предсказание

Получение предсказаний на тестовом наборе

X_test = np.arange(0.0, 5.0, 0.01)[:, np.newaxis]
y_1 = regr_1.predict(X_test)
y_2 = regr_2.predict(X_test)

Построение результатов

import matplotlib.pyplot as plt

plt.figure()
plt.scatter(X, y, s=20, edgecolor="black", c="darkorange", label="data")
plt.plot(X_test, y_1, color="cornflowerblue", label="max_depth=2", linewidth=2)
plt.plot(X_test, y_2, color="yellowgreen", label="max_depth=5", linewidth=2)
plt.xlabel("data")
plt.ylabel("target")
plt.title("Decision Tree Regression")
plt.legend()
plt.show()

Как вы можете видеть, модель с глубиной 5 (желтый цвет) изучает детали обучающих данных до такой степени, что переобучается к шуму. С другой стороны, модель с глубиной 2 (синий цвет) хорошо изучает основные тенденции в данных и не переобучается. В реальных задачах вам необходимо убедиться, что дерево не переобучается к обучающим данным, что можно сделать с помощью кросс-валидации.

Регрессия с деревом решений с множественными целевыми выходами

Здесь дерево решений используется для одновременного предсказания шумных x и y наблюдений круга, учитывая единственный основной признак. В результате оно обучается локальным линейным регрессиям, аппроксимирующим круг.

Создать случайный набор данных

rng = np.random.RandomState(1)
X = np.sort(200 * rng.rand(100, 1) - 100, axis=0)
y = np.array([np.pi * np.sin(X).ravel(), np.pi * np.cos(X).ravel()]).T
y[::5, :] += 0.5 - rng.rand(20, 2)

Подгонка регрессионной модели

regr_1 = DecisionTreeRegressor(max_depth=2)
regr_2 = DecisionTreeRegressor(max_depth=5)
regr_3 = DecisionTreeRegressor(max_depth=8)
regr_1.fit(X, y)
regr_2.fit(X, y)
regr_3.fit(X, y)

DecisionTreeRegressor(max_depth=8)

Предсказание

Получение предсказаний на тестовом наборе

X_test = np.arange(-100.0, 100.0, 0.01)[:, np.newaxis]
y_1 = regr_1.predict(X_test)
y_2 = regr_2.predict(X_test)
y_3 = regr_3.predict(X_test)

Построение результатов

plt.figure()
s = 25
plt.scatter(y[:, 0], y[:, 1], c="yellow", s=s, edgecolor="black", label="data")
plt.scatter(
    y_1[:, 0],
    y_1[:, 1],
    c="cornflowerblue",
    s=s,
    edgecolor="black",
    label="max_depth=2",
)
plt.scatter(y_2[:, 0], y_2[:, 1], c="red", s=s, edgecolor="black", label="max_depth=5")
plt.scatter(y_3[:, 0], y_3[:, 1], c="blue", s=s, edgecolor="black", label="max_depth=8")
plt.xlim([-6, 6])
plt.ylim([-6, 6])
plt.xlabel("target 1")
plt.ylabel("target 2")
plt.title("Multi-output Decision Tree Regression")
plt.legend(loc="best")
plt.show()

Как видно, чем выше значение max_depth, тем больше деталей данных улавливает модель. Однако модель также переобучается к данным и подвержена влиянию шума.

Общее время выполнения скрипта: (0 минут 0,314 секунды)

Связанные примеры

Регрессия с деревом решений с использованием AdaBoost

Сравнение случайных лесов и мета-эстиматора с множественными выходами

Построение решений поверхностей ансамблей деревьев на наборе данных iris

Преобразование признаков с помощью ансамблей деревьев

© 2007–2025 The scikit-learn developers
Licensed under the 3-clause BSD License.
https://scikit-learn.org/1.6/auto_examples/tree/plot_tree_regression.html