4.2. Важность признаков методом перестановки

Важность признаков методом перестановки — это метод анализа модели, который измеряет вклад каждого признака в статистическую эффективность обученной модели на заданном табличном наборе данных. Этот метод особенно полезен для нелинейных или непрозрачных оценок, и включает в себя случайное перемешивание значений одного признака и наблюдение за результатом ухудшения оценки модели [1]. Разрывая связь между признаком и целевой переменной, мы определяем, насколько модель полагается на конкретный признак.

На следующих рисунках мы наблюдаем влияние перестановки признаков на корреляцию между признаком и целевой переменной, а следовательно, и на статистическую эффективность модели.

На верхнем рисунке мы наблюдаем, что перестановка предиктивного признака нарушает корреляцию между признаком и целевой переменной, а в результате статистическая эффективность модели снижается. На нижнем рисунке мы видим, что перестановка непредсказательного признака не приводит к значительному ухудшению статистической эффективности модели.

Одним из ключевых преимуществ важности признаков методом перестановки является то, что он не зависит от модели, то есть его можно применять к любой обученной оценке. Кроме того, его можно вычислять несколько раз с различными перестановками признака, что дополнительно обеспечивает меру дисперсии в оценке важности признаков для конкретной обученной модели.

На рисунке ниже показана важность признаков методом перестановки для RandomForestClassifier, обученного на расширенной версии набора данных «Титаник», содержащей random_cat и random_num признаки, т.е. категориальный и числовой признаки, не связанные каким-либо образом с целевой переменной:

Функция permutation_importance вычисляет важность признаков для оценок на заданном наборе данных. Параметр n_repeats устанавливает количество раз, когда признак случайным образом перемешивается, и возвращает выборку важностей признаков.

Рассмотрим следующую обученную регрессионную модель:

>>> from sklearn.datasets import load_diabetes
>>> from sklearn.model_selection import train_test_split
>>> from sklearn.linear_model import Ridge
>>> diabetes = load_diabetes()
>>> X_train, X_val, y_train, y_val = train_test_split(
...     diabetes.data, diabetes.target, random_state=0)
...
>>> model = Ridge(alpha=1e-2).fit(X_train, y_train)
>>> model.score(X_val, y_val)
0.356...

Её эффективность на проверочном наборе, измеренная с помощью метрики \(R^2\), значительно выше случайного уровня. Это позволяет использовать функцию permutation_importance для определения наиболее предсказательных признаков:

>>> from sklearn.inspection import permutation_importance
>>> r = permutation_importance(model, X_val, y_val,
...                            n_repeats=30,
...                            random_state=0)
...
>>> for i in r.importances_mean.argsort()[::-1]:
...     if r.importances_mean[i] - 2 * r.importances_std[i] > 0:
...         print(f"{diabetes.feature_names[i]:<8}"
...               f"{r.importances_mean[i]:.3f}"
...               f" +/- {r.importances_std[i]:.3f}")
...
s5      0.204 +/- 0.050
bmi     0.176 +/- 0.048
bp      0.088 +/- 0.033
sex     0.056 +/- 0.023

Обратите внимание, что значения важности для топовых признаков составляют большую долю от эталонного значения 0,356.

Важность признаков методом перестановки можно вычислить либо на обучающем наборе, либо на отдельном тестовом или валидационном наборе. Использование отдельного набора данных позволяет выделить признаки, которые в наибольшей степени способствуют обобщающей способности анализируемой модели. Признаки, важные на обучающем наборе, но не на отдельном наборе данных, могут привести к переобучению модели.

Важность признаков методом перестановки зависит от функции оценки, указанной параметром scoring. Этот параметр может принимать несколько оценок, что более эффективно с вычислительной точки зрения, чем последовательное вызывание permutation_importance несколько раз с различными оценками, так как оно использует предсказания модели повторно.

>>> scoring = ['r2', 'neg_mean_absolute_percentage_error', 'neg_mean_squared_error']
>>> r_multi = permutation_importance(
...     model, X_val, y_val, n_repeats=30, random_state=0, scoring=scoring)
...
>>> for metric in r_multi:
...     print(f"{metric}")
...     r = r_multi[metric]
...     for i in r.importances_mean.argsort()[::-1]:
...         if r.importances_mean[i] - 2 * r.importances_std[i] > 0:
...             print(f"    {diabetes.feature_names[i]:<8}"
...                   f"{r.importances_mean[i]:.3f}"
...                   f" +/- {r.importances_std[i]:.3f}")
...
r2
    s5      0.204 +/- 0.050
    bmi     0.176 +/- 0.048
    bp      0.088 +/- 0.033
    sex     0.056 +/- 0.023
neg_mean_absolute_percentage_error
    s5      0.081 +/- 0.020
    bmi     0.064 +/- 0.015
    bp      0.029 +/- 0.010
neg_mean_squared_error
    s5      1013.866 +/- 246.445
    bmi     872.726 +/- 240.298
    bp      438.663 +/- 163.022
    sex     277.376 +/- 115.123