Преобразования признаков с помощью ансамблей деревьев

Преобразуйте признаки в разреженное пространство большей размерности. Затем обучите линейную модель на этих признаках.

Сначала обучите ансамбль деревьев (полностью случайные деревья, случайный лес или деревья с градиентным бустингом) на обучающей выборке. Затем каждому листу каждого дерева ансамбля присваивается фиксированный произвольный индекс признака в новом пространстве признаков. После этого индексы листьев кодируются в формате one-hot.

Каждый образец проходит через узлы каждого дерева ансамбля и оказывается в одном листе каждого дерева. Образец кодируется присвоением значения 1 признакам, соответствующим этим листьям, и значения 0 — остальным признакам.

Полученный преобразователь обучается создавать для данных разреженное категориальное вложение высокой размерности с учётом целевых значений.

# Authors: The scikit-learn developers
# SPDX-License-Identifier: BSD-3-Clause

Сначала создадим большой набор данных и разделим его на три выборки:

• выборку для обучения ансамблевых методов, которые затем будут использоваться как преобразователь для создания признаков;
• выборку для обучения линейной модели;
• выборку для тестирования линейной модели.

Важно разделить данные таким образом, чтобы избежать переобучения из-за утечки данных.

from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

X, y = make_classification(n_samples=80_000, random_state=10)

X_full_train, X_test, y_full_train, y_test = train_test_split(
    X, y, test_size=0.5, random_state=10
)
X_train_ensemble, X_train_linear, y_train_ensemble, y_train_linear = train_test_split(
    X_full_train, y_full_train, test_size=0.5, random_state=10
)

Для каждого из ансамблевых методов будем использовать 10 оценщиков и максимальную глубину 3 уровня.

n_estimators = 10
max_depth = 3

Сначала обучим случайный лес и градиентный бустинг на отдельной обучающей выборке.

from sklearn.ensemble import GradientBoostingClassifier, RandomForestClassifier

random_forest = RandomForestClassifier(
    n_estimators=n_estimators, max_depth=max_depth, random_state=10
)
random_forest.fit(X_train_ensemble, y_train_ensemble)

gradient_boosting = GradientBoostingClassifier(
    n_estimators=n_estimators, max_depth=max_depth, random_state=10
)
_ = gradient_boosting.fit(X_train_ensemble, y_train_ensemble)

Обратите внимание, что HistGradientBoostingClassifier работает гораздо быстрее, чем GradientBoostingClassifier, начиная с наборов данных среднего размера (n_samples >= 10_000), чего нельзя сказать о данном примере.

RandomTreesEmbedding — это метод без учителя, поэтому его не нужно обучать отдельно.

from sklearn.ensemble import RandomTreesEmbedding

random_tree_embedding = RandomTreesEmbedding(
    n_estimators=n_estimators, max_depth=max_depth, random_state=0
)

Теперь создадим три конвейера, которые будут использовать приведённое выше вложение на этапе предварительной обработки.

Вложение случайных деревьев можно напрямую объединить в конвейер с логистической регрессией, поскольку это стандартный преобразователь scikit-learn.

from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline

rt_model = make_pipeline(random_tree_embedding, LogisticRegression(max_iter=1000))
rt_model.fit(X_train_linear, y_train_linear)

Pipeline(steps=[('randomtreesembedding',
                 RandomTreesEmbedding(max_depth=3, n_estimators=10,
                                      random_state=0)),
                ('logisticregression', LogisticRegression(max_iter=1000))])

Затем можно объединить случайный лес или градиентный бустинг с логистической регрессией в конвейер. Однако преобразование признаков будет выполняться вызовом метода apply. Конвейер в scikit-learn предполагает вызов transform. Поэтому мы обернули вызов apply в FunctionTransformer.

from sklearn.preprocessing import FunctionTransformer, OneHotEncoder


def rf_apply(X, model):
    return model.apply(X)


rf_leaves_yielder = FunctionTransformer(rf_apply, kw_args={"model": random_forest})

rf_model = make_pipeline(
    rf_leaves_yielder,
    OneHotEncoder(handle_unknown="ignore"),
    LogisticRegression(max_iter=1000),
)
rf_model.fit(X_train_linear, y_train_linear)

def gbdt_apply(X, model):
    return model.apply(X)[:, :, 0]


gbdt_leaves_yielder = FunctionTransformer(
    gbdt_apply, kw_args={"model": gradient_boosting}
)

gbdt_model = make_pipeline(
    gbdt_leaves_yielder,
    OneHotEncoder(handle_unknown="ignore"),
    LogisticRegression(max_iter=1000),
)
gbdt_model.fit(X_train_linear, y_train_linear)

Наконец, можно показать различные ROC-кривые для всех моделей.

import matplotlib.pyplot as plt

from sklearn.metrics import RocCurveDisplay

_, ax = plt.subplots()

models = [
    ("RT embedding -> LR", rt_model),
    ("RF", random_forest),
    ("RF embedding -> LR", rf_model),
    ("GBDT", gradient_boosting),
    ("GBDT embedding -> LR", gbdt_model),
]

model_displays = {}
for name, pipeline in models:
    model_displays[name] = RocCurveDisplay.from_estimator(
        pipeline, X_test, y_test, ax=ax, name=name
    )
_ = ax.set_title("ROC curve")

_, ax = plt.subplots()
for name, pipeline in models:
    model_displays[name].plot(ax=ax)

ax.set_xlim(0, 0.2)
ax.set_ylim(0.8, 1)
_ = ax.set_title("ROC curve (zoomed in at top left)")

Общее время выполнения скрипта: (0 минут 2.366 секунды)

Download Jupyter notebook: plot_feature_transformation.ipynb

Download Python source code: plot_feature_transformation.py

Download zipped: plot_feature_transformation.zip

Связанные примеры

Обучение на многообразиях для рукописных цифр: локальное линейное встраивание, Isomap…

Регрессия с деревом решений

Основные нововведения scikit-learn 0.22

Сравнение моделей случайного леса и гистограммного градиентного бустинга