Графики частичной зависимости и индивидуальных условных ожиданий

Препроцессор для модели нейронной сети

Мы будем использовать QuantileTransformer для масштабирования числовых признаков и кодировать категориальные признаки с помощью OneHotEncoder.

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder, QuantileTransformer

mlp_preprocessor = ColumnTransformer(
    transformers=[
        ("num", QuantileTransformer(n_quantiles=100), numerical_features),
        ("cat", OneHotEncoder(handle_unknown="ignore"), categorical_features),
    ]
)
mlp_preprocessor

ColumnTransformer(transformers=[('num', QuantileTransformer(n_quantiles=100),
                                 ['temp', 'feel_temp', 'humidity',
                                  'windspeed']),
                                ('cat', OneHotEncoder(handle_unknown='ignore'),
                                 Index(['season', 'month', 'hour', 'holiday', 'weekday', 'workingday',
       'weather'],
      dtype='object'))])

ColumnTransformer(transformers=[('num', QuantileTransformer(n_quantiles=100),
                                 ['temp', 'feel_temp', 'humidity',
                                  'windspeed']),
                                ('cat', OneHotEncoder(handle_unknown='ignore'),
                                 Index(['season', 'month', 'hour', 'holiday', 'weekday', 'workingday',
       'weather'],
      dtype='object'))])

['temp', 'feel_temp', 'humidity', 'windspeed']

QuantileTransformer(n_quantiles=100)

Index(['season', 'month', 'hour', 'holiday', 'weekday', 'workingday',
       'weather'],
      dtype='object')

OneHotEncoder(handle_unknown='ignore')

Препроцессор для модели градиентного бустинга

Для модели градиентного бустинга мы оставляем числовые признаки без изменений и кодируем только категориальные признаки с помощью OrdinalEncoder.

from sklearn.preprocessing import OrdinalEncoder

hgbdt_preprocessor = ColumnTransformer(
    transformers=[
        ("cat", OrdinalEncoder(), categorical_features),
        ("num", "passthrough", numerical_features),
    ],
    sparse_threshold=1,
    verbose_feature_names_out=False,
).set_output(transform="pandas")
hgbdt_preprocessor

ColumnTransformer(sparse_threshold=1,
                  transformers=[('cat', OrdinalEncoder(),
                                 Index(['season', 'month', 'hour', 'holiday', 'weekday', 'workingday',
       'weather'],
      dtype='object')),
                                ('num', 'passthrough',
                                 ['temp', 'feel_temp', 'humidity',
                                  'windspeed'])],
                  verbose_feature_names_out=False)

ColumnTransformer(sparse_threshold=1,
                  transformers=[('cat', OrdinalEncoder(),
                                 Index(['season', 'month', 'hour', 'holiday', 'weekday', 'workingday',
       'weather'],
      dtype='object')),
                                ('num', 'passthrough',
                                 ['temp', 'feel_temp', 'humidity',
                                  'windspeed'])],
                  verbose_feature_names_out=False)

Index(['season', 'month', 'hour', 'holiday', 'weekday', 'workingday',
       'weather'],
      dtype='object')

OrdinalEncoder()

['temp', 'feel_temp', 'humidity', 'windspeed']

passthrough

Многослойный перцептрон

Давайте обучим MLPRegressor и вычислим графики частичной зависимости по одной переменной.

from time import time

from sklearn.neural_network import MLPRegressor
from sklearn.pipeline import make_pipeline

print("Training MLPRegressor...")
tic = time()
mlp_model = make_pipeline(
    mlp_preprocessor,
    MLPRegressor(
        hidden_layer_sizes=(30, 15),
        learning_rate_init=0.01,
        early_stopping=True,
        random_state=0,
    ),
)
mlp_model.fit(X_train, y_train)
print(f"done in {time() - tic:.3f}s")
print(f"Test R2 score: {mlp_model.score(X_test, y_test):.2f}")

Training MLPRegressor...
done in 0.861s
Test R2 score: 0.61

Мы настроили конвейер с помощью предобработчика, созданного специально для нейронной сети, и настраивали размер и скорость обучения нейронной сети, чтобы получить разумный компромисс между временем обучения и предсказательной производительностью на тестовой выборке.

Важно отметить, что в этом табличном наборе данных диапазоны динамики признаков очень различны. Нейронные сети очень чувствительны к признакам с разными масштабами, и забыть о предобработке числовых признаков приведет к очень плохой модели.

Можно было бы получить еще более высокую предсказательную производительность с помощью более крупной нейронной сети, но обучение также будет значительно дороже.

Обратите внимание, что важно проверить, достаточно ли точна модель на тестовой выборке перед построением графиков частичной зависимости, так как мало смысла объяснять влияние данного признака на функцию прогнозирования модели с низкой предсказательной производительностью. В этом отношении наша модель MLP работает достаточно хорошо.

Мы построим усредненную частичную зависимость.

import matplotlib.pyplot as plt

from sklearn.inspection import PartialDependenceDisplay

common_params = {
    "subsample": 50,
    "n_jobs": 2,
    "grid_resolution": 20,
    "random_state": 0,
}

print("Computing partial dependence plots...")
features_info = {
    # features of interest
    "features": ["temp", "humidity", "windspeed", "season", "weather", "hour"],
    # type of partial dependence plot
    "kind": "average",
    # information regarding categorical features
    "categorical_features": categorical_features,
}
tic = time()
_, ax = plt.subplots(ncols=3, nrows=2, figsize=(9, 8), constrained_layout=True)
display = PartialDependenceDisplay.from_estimator(
    mlp_model,
    X_train,
    **features_info,
    ax=ax,
    **common_params,
)
print(f"done in {time() - tic:.3f}s")
_ = display.figure_.suptitle(
    (
        "Partial dependence of the number of bike rentals\n"
        "for the bike rental dataset with an MLPRegressor"
    ),
    fontsize=16,
)

Computing partial dependence plots...
done in 0.705s

Градиентный бустинг

Теперь давайте обучим HistGradientBoostingRegressor и вычислим частичную зависимость от тех же признаков. Мы также используем специальный предобработчик, созданный для этой модели.

from sklearn.ensemble import HistGradientBoostingRegressor

print("Training HistGradientBoostingRegressor...")
tic = time()
hgbdt_model = make_pipeline(
    hgbdt_preprocessor,
    HistGradientBoostingRegressor(
        categorical_features=categorical_features,
        random_state=0,
        max_iter=50,
    ),
)
hgbdt_model.fit(X_train, y_train)
print(f"done in {time() - tic:.3f}s")
print(f"Test R2 score: {hgbdt_model.score(X_test, y_test):.2f}")

Training HistGradientBoostingRegressor...
done in 0.139s
Test R2 score: 0.62

Здесь мы использовали стандартные гиперпараметры для модели градиентного бустинга без предобработки, так как основанные на деревьях модели естественно устойчивы к монотонным преобразованиям числовых признаков.

Обратите внимание, что на этом табличном наборе данных машины градиентного бустинга обучаются значительно быстрее и точнее, чем нейронные сети. Настройка их гиперпараметров также значительно проще (стандартные значения обычно работают хорошо, в отличие от нейронных сетей).

Мы построим частичную зависимость для некоторых числовых и категориальных признаков.

print("Computing partial dependence plots...")
tic = time()
_, ax = plt.subplots(ncols=3, nrows=2, figsize=(9, 8), constrained_layout=True)
display = PartialDependenceDisplay.from_estimator(
    hgbdt_model,
    X_train,
    **features_info,
    ax=ax,
    **common_params,
)
print(f"done in {time() - tic:.3f}s")
_ = display.figure_.suptitle(
    (
        "Partial dependence of the number of bike rentals\n"
        "for the bike rental dataset with a gradient boosting"
    ),
    fontsize=16,
)

Computing partial dependence plots...
done in 1.294s

Анализ графиков

Сначала рассмотрим графики частичной зависимости для числовых признаков. Для обеих моделей общая тенденция PDP температуры заключается в том, что количество велосипедных поездок увеличивается с повышением температуры. Мы можем провести аналогичный анализ, но с обратной тенденцией для признака влажности. Количество велосипедных поездок уменьшается по мере увеличения влажности. Наконец, мы наблюдаем ту же тенденцию для признака скорости ветра. Количество велосипедных поездок уменьшается по мере увеличения скорости ветра для обеих моделей. Мы также наблюдаем, что MLPRegressor имеет гораздо более плавные прогнозы, чем HistGradientBoostingRegressor.

Теперь рассмотрим графики частичной зависимости для категориальных признаков.

Мы наблюдаем, что весна имеет самый низкий показатель для признака сезона. Что касается признака погоды, категория дождь имеет самый низкий показатель. Относительно признака часа мы видим два пика около 7 утра и 18 часов. Эти выводы согласуются с ранее сделанными наблюдениями над данными.

Однако стоит отметить, что мы создаем потенциально бессмысленные синтетические образцы, если признаки коррелированы.

ICE против PDP

PDP представляет собой среднее значение краевых эффектов признаков. Мы усредняем ответ всех образцов из предоставленного набора. Таким образом, некоторые эффекты могут быть скрыты. В этом отношении можно построить каждый индивидуальный ответ. Это представление называется графиком индивидуального эффекта (ICE). На графике ниже мы построили 50 случайных ICE для признаков температуры и влажности.

print("Computing partial dependence plots and individual conditional expectation...")
tic = time()
_, ax = plt.subplots(ncols=2, figsize=(6, 4), sharey=True, constrained_layout=True)

features_info = {
    "features": ["temp", "humidity"],
    "kind": "both",
    "centered": True,
}

display = PartialDependenceDisplay.from_estimator(
    hgbdt_model,
    X_train,
    **features_info,
    ax=ax,
    **common_params,
)
print(f"done in {time() - tic:.3f}s")
_ = display.figure_.suptitle("ICE and PDP representations", fontsize=16)

Computing partial dependence plots and individual conditional expectation...
done in 0.594s

Мы видим, что ICE для признака температуры дает нам дополнительную информацию: некоторые линии ICE являются плоскими, а другие показывают уменьшение зависимости для температуры выше 35 градусов Цельсия. Мы наблюдаем аналогичный паттерн для признака влажности: некоторые линии ICE показывают резкое уменьшение, когда влажность превышает 80%.

Не все линии ICE параллельны, это указывает на то, что модель находит взаимодействия между признаками. Мы можем повторить эксперимент, ограничив модель градиентного бустинга на отсутствие взаимодействий между признаками, используя параметр interaction_cst:

from sklearn.base import clone

interaction_cst = [[i] for i in range(X_train.shape[1])]
hgbdt_model_without_interactions = (
    clone(hgbdt_model)
    .set_params(histgradientboostingregressor__interaction_cst=interaction_cst)
    .fit(X_train, y_train)
)
print(f"Test R2 score: {hgbdt_model_without_interactions.score(X_test, y_test):.2f}")

Test R2 score: 0.38

_, ax = plt.subplots(ncols=2, figsize=(6, 4), sharey=True, constrained_layout=True)

features_info["centered"] = False
display = PartialDependenceDisplay.from_estimator(
    hgbdt_model_without_interactions,
    X_train,
    **features_info,
    ax=ax,
    **common_params,
)
_ = display.figure_.suptitle("ICE and PDP representations", fontsize=16)

3D представление

Давайте построим ту же диаграмму частичной зависимости для взаимодействия 2 признаков, на этот раз в 3 измерениях.

# unused but required import for doing 3d projections with matplotlib < 3.2
import mpl_toolkits.mplot3d  # noqa: F401
import numpy as np

from sklearn.inspection import partial_dependence

fig = plt.figure(figsize=(5.5, 5))

features = ("temp", "humidity")
pdp = partial_dependence(
    hgbdt_model, X_train, features=features, kind="average", grid_resolution=10
)
XX, YY = np.meshgrid(pdp["grid_values"][0], pdp["grid_values"][1])
Z = pdp.average[0].T
ax = fig.add_subplot(projection="3d")
fig.add_axes(ax)

surf = ax.plot_surface(XX, YY, Z, rstride=1, cstride=1, cmap=plt.cm.BuPu, edgecolor="k")
ax.set_xlabel(features[0])
ax.set_ylabel(features[1])
fig.suptitle(
    "PD of number of bike rentals on\nthe temperature and humidity GBDT model",
    fontsize=16,
)
# pretty init view
ax.view_init(elev=22, azim=122)
clb = plt.colorbar(surf, pad=0.08, shrink=0.6, aspect=10)
clb.ax.set_title("Partial\ndependence")
plt.show()

Общее время выполнения сценария: (0 минут 27.396 секунд)

Download Jupyter notebook: plot_partial_dependence.ipynb

Download Python source code: plot_partial_dependence.py

Download zipped: plot_partial_dependence.zip

Связанные примеры

Расширенное построение с частичной зависимостью

Инженерия временных признаков

Основные моменты релиза scikit-learn 0.24

Сравнение TargetEncoder с другими кодерами