Внутренний кросс-фиттинг кодировщика целевой переменной

Создание синтетического набора данных

Для этого примера мы создадим набор данных с тремя категориальными признаками:

• информативный признак со средним числом категорий («informative»)
• неинформативный признак со средним числом категорий («shuffled»)
• неинформативный признак с большим числом категорий («near_unique»)

Сначала сгенерируем информативный признак:

import numpy as np

from sklearn.preprocessing import KBinsDiscretizer

n_samples = 50_000

rng = np.random.RandomState(42)
y = rng.randn(n_samples)
noise = 0.5 * rng.randn(n_samples)
n_categories = 100

kbins = KBinsDiscretizer(
    n_bins=n_categories,
    encode="ordinal",
    strategy="uniform",
    random_state=rng,
    subsample=None,
)
X_informative = kbins.fit_transform((y + noise).reshape(-1, 1))

# Remove the linear relationship between y and the bin index by permuting the
# values of X_informative:
permuted_categories = rng.permutation(n_categories)
X_informative = permuted_categories[X_informative.astype(np.int32)]

Неинформативный признак со средним числом категорий генерируется путем перемешивания значений информативного признака, что устраняет его зависимость от целевой переменной:

X_shuffled = rng.permutation(X_informative)

Неинформативный признак с большим числом категорий генерируется так, чтобы он не зависел от целевой переменной. Мы покажем, что кодирование целевой переменной без кросс-фиттинга приведет к катастрофическому переобучению последующей модели регрессии. Эти признаки с большим числом категорий фактически являются уникальными идентификаторами объектов, которые обычно следует удалять из наборов данных машинного обучения. В этом примере мы создаем их, чтобы показать, как поведение TargetEncoder по умолчанию — кросс-фиттинг — автоматически решает проблему переобучения.

X_near_unique_categories = rng.choice(
    int(0.9 * n_samples), size=n_samples, replace=True
).reshape(-1, 1)

Наконец, объединим набор данных и разделим его на обучающую и тестовую выборки:

import pandas as pd

from sklearn.model_selection import train_test_split

X = pd.DataFrame(
    np.concatenate(
        [X_informative, X_shuffled, X_near_unique_categories],
        axis=1,
    ),
    columns=["informative", "shuffled", "near_unique"],
)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

Обучение регрессора Ridge

В этом разделе мы обучим регрессор Ridge на наборе данных с кодированием и без него и изучим влияние кодировщика целевой переменной с внутренним кросс-фиттингом и без него. Сначала рассмотрим модель Ridge, обученную на исходных признаках: ее результаты будут низкими. Это связано с тем, что мы перемешали порядок значений информативного признака, поэтому X_informative не является информативным в исходном виде:

import sklearn
from sklearn.linear_model import Ridge

# Configure transformers to always output DataFrames
sklearn.set_config(transform_output="pandas")

ridge = Ridge(alpha=1e-6, solver="lsqr", fit_intercept=False)

raw_model = ridge.fit(X_train, y_train)
print("Raw Model score on training set: ", raw_model.score(X_train, y_train))
print("Raw Model score on test set: ", raw_model.score(X_test, y_test))

Raw Model score on training set:  0.0049896314219659565
Raw Model score on test set:  0.004577621581464908

Затем создадим конвейер с кодировщиком целевой переменной и моделью Ridge. Конвейер использует TargetEncoder.fit_transform, который применяет кросс-фиттинг. Мы видим, что модель хорошо подстраивается под данные и обобщает результат на тестовую выборку:

from sklearn.model_selection import KFold
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import TargetEncoder

model_with_cf = make_pipeline(
    TargetEncoder(cv=KFold(shuffle=True, random_state=0)), ridge
)
model_with_cf.fit(X_train, y_train)
print("Model with CF on train set: ", model_with_cf.score(X_train, y_train))
print("Model with CF on test set: ", model_with_cf.score(X_test, y_test))

Model with CF on train set:  0.8000184677460299
Model with CF on test set:  0.7927845601690924

Коэффициенты линейной модели показывают, что наибольший вес приходится на признак с индексом столбца 0, то есть на информативный признак

import matplotlib.pyplot as plt
import pandas as pd

plt.rcParams["figure.constrained_layout.use"] = True

coefs_cf = pd.Series(
    model_with_cf[-1].coef_, index=model_with_cf[-1].feature_names_in_
).sort_values()
ax = coefs_cf.plot(kind="barh")
_ = ax.set(
    title="Target encoded with cross fitting",
    xlabel="Ridge coefficient",
    ylabel="Feature",
)

Хотя TargetEncoder.fit_transform использует внутреннюю схему кросс-фиттинга для получения кодировок обучающей выборки, последовательный вызов TargetEncoder.fit и TargetEncoder.transform этого не делает. В этом случае для получения кодировок и преобразования категориальных признаков используется вся обучающая выборка. Таким образом, мы можем отключить кросс-фиттинг, последовательно вызвав TargetEncoder.fit и TargetEncoder.transform. Затем эти кодированные данные передаются модели Ridge.

target_encoder = TargetEncoder(random_state=0)
target_encoder.fit(X_train, y_train)
X_train_no_cf_encoding = target_encoder.transform(X_train)
X_test_no_cf_encoding = target_encoder.transform(X_test)

model_no_cf = ridge.fit(X_train_no_cf_encoding, y_train)

Оценим модель, при кодировании которой не использовался кросс-фиттинг, и увидим, что она переобучается:

print(
    "Model without CF on training set: ",
    model_no_cf.score(X_train_no_cf_encoding, y_train),
)
print(
    "Model without CF on test set: ",
    model_no_cf.score(
        X_test_no_cf_encoding,
        y_test,
    ),
)

Model without CF on training set:  0.858486250088675
Model without CF on test set:  0.6338211367110548

Модель Ridge переобучается, поскольку присваивает неинформативным признакам с очень большим («near_unique») и средним («shuffled») числом категорий гораздо больший вес, чем модель, в которой для кодирования признаков использовался кросс-фиттинг.

coefs_no_cf = pd.Series(
    model_no_cf.coef_, index=model_no_cf.feature_names_in_
).sort_values()
ax = coefs_no_cf.plot(kind="barh")
_ = ax.set(
    title="Target encoded without cross fitting",
    xlabel="Ridge coefficient",
    ylabel="Feature",
)

Заключение

Этот пример демонстрирует важность внутреннего кросс-фиттинга в TargetEncoder. Перед передачей обучающих данных модели машинного обучения важно кодировать их с помощью TargetEncoder.fit_transform. Если TargetEncoder является частью Pipeline и выполняется обучение конвейера, он корректно вызовет TargetEncoder.fit_transform и применит кросс-фиттинг при кодировании обучающих данных.

Общее время выполнения скрипта: (0 минут 0.359 секунды)

Download Jupyter notebook: plot_target_encoder_cross_val.ipynb

Download Python source code: plot_target_encoder_cross_val.py

Download zipped: plot_target_encoder_cross_val.zip

Связанные примеры

Сравнение Target Encoder с другими кодировщиками

Поддержка категориальных признаков в градиентном бустинге

HuberRegressor и Ridge на наборе данных с сильными выбросами

Метод наименьших квадратов и регрессия Ridge