Конвейер ANOVA SVM

В этом примере показано, как легко интегрировать отбор признаков в конвейер машинного обучения.

Мы также покажем, что можно легко изучить часть конвейера.

# Authors: The scikit-learn developers
# SPDX-License-Identifier: BSD-3-Clause

Сначала мы создадим набор данных для бинарной классификации. Затем разделим набор данных на две подвыборки.

from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

X, y = make_classification(
    n_features=20,
    n_informative=3,
    n_redundant=0,
    n_classes=2,
    n_clusters_per_class=2,
    random_state=42,
)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

Распространённая ошибка при отборе признаков — поиск подмножества информативных признаков по всему набору данных вместо использования только обучающей выборки. Использование Pipeline из scikit-learn позволяет избежать этой ошибки.

Здесь мы покажем, как создать конвейер, первым шагом которого будет отбор признаков.

При вызове fit на обучающих данных будет выбрано подмножество признаков и сохранены индексы выбранных признаков. Затем селектор признаков уменьшит количество признаков и передаст это подмножество классификатору для обучения.

from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.pipeline import make_pipeline
from sklearn.svm import LinearSVC

anova_filter = SelectKBest(f_classif, k=3)
clf = LinearSVC()
anova_svm = make_pipeline(anova_filter, clf)
anova_svm.fit(X_train, y_train)

Pipeline(steps=[('selectkbest', SelectKBest(k=3)), ('linearsvc', LinearSVC())])

После завершения обучения мы можем выполнить предсказание для новых, ранее не встречавшихся примеров. В данном случае селектор признаков выберет только наиболее различающие признаки на основе информации, сохраненной во время обучения. Затем данные будут переданы классификатору, который выполнит предсказание.

Здесь мы приводим итоговые метрики в виде отчета о классификации.

from sklearn.metrics import classification_report

y_pred = anova_svm.predict(X_test)
print(classification_report(y_test, y_pred))

              precision    recall  f1-score   support

           0       0.92      0.80      0.86        15
           1       0.75      0.90      0.82        10

    accuracy                           0.84        25
   macro avg       0.84      0.85      0.84        25
weighted avg       0.85      0.84      0.84        25

Обратите внимание, что можно изучить отдельный шаг конвейера. Например, нас могут интересовать параметры классификатора. Поскольку мы выбрали три признака, ожидается, что у нас будет три коэффициента.

anova_svm[-1].coef_

array([[0.75788833, 0.27161955, 0.26113448]])

Однако мы не знаем, какие признаки были выбраны из исходного набора данных. Это можно сделать несколькими способами. Здесь мы выполним обратное преобразование этих коэффициентов, чтобы получить информацию об исходном пространстве.

anova_svm[:-1].inverse_transform(anova_svm[-1].coef_)

array([[0.        , 0.        , 0.75788833, 0.        , 0.        ,
        0.        , 0.        , 0.        , 0.        , 0.27161955,
        0.        , 0.        , 0.        , 0.        , 0.        ,
        0.        , 0.        , 0.        , 0.        , 0.26113448]])

Мы видим, что признаки с ненулевыми коэффициентами — это признаки, выбранные на первом шаге.

Общее время выполнения скрипта: (0 минут 0.024 секунды)

Download Jupyter notebook: plot_feature_selection_pipeline.ipynb

Download Python source code: plot_feature_selection_pipeline.py

Download zipped: plot_feature_selection_pipeline.zip

Связанные примеры

Рекурсивное исключение признаков с перекрёстной проверкой

Отбор признаков на основе модели и последовательный отбор признаков

Настраиваемая стратегия повторного обучения модели для поиска по сетке с перекрёстной проверкой

Одномерный отбор признаков