Сравнение F-критерия и взаимной информации

Этот пример иллюстрирует различия между статистикой однофакторного F-критерия и взаимной информацией.

Рассмотрим 3 признака x₁, x₂, x₃, распределенные равномерно на отрезке [0, 1], целевая переменная зависит от них следующим образом:

y = x₁ + sin(6 * pi * x₂) + 0.1 * N(0, 1), то есть третий признак полностью нерелевантен.

Код ниже строит зависимость y от каждого x_i и нормированных значений статистики однофакторного F-критерия и взаимной информации.

Так как F-критерий учитывает только линейную зависимость, он оценивает x₁ как наиболее дискриминативный признак. С другой стороны, взаимная информация может учитывать любой тип зависимости между переменными и оценивает x₂ как наиболее дискриминативный признак, что, вероятно, лучше согласуется с нашим интуитивным восприятием для этого примера. Оба метода правильно отмечают x₃ как нерелевантный.

# Authors: The scikit-learn developers
# SPDX-License-Identifier: BSD-3-Clause

import matplotlib.pyplot as plt
import numpy as np

from sklearn.feature_selection import f_regression, mutual_info_regression

np.random.seed(0)
X = np.random.rand(1000, 3)
y = X[:, 0] + np.sin(6 * np.pi * X[:, 1]) + 0.1 * np.random.randn(1000)

f_test, _ = f_regression(X, y)
f_test /= np.max(f_test)

mi = mutual_info_regression(X, y)
mi /= np.max(mi)

plt.figure(figsize=(15, 5))
for i in range(3):
    plt.subplot(1, 3, i + 1)
    plt.scatter(X[:, i], y, edgecolor="black", s=20)
    plt.xlabel("$x_{}$".format(i + 1), fontsize=14)
    if i == 0:
        plt.ylabel("$y$", fontsize=14)
    plt.title("F-test={:.2f}, MI={:.2f}".format(f_test[i], mi[i]), fontsize=16)
plt.show()

Общее время выполнения скрипта: (0 минут 0,222 секунды)

Download Jupyter notebook: plot_f_test_vs_mi.ipynb

Download Python source code: plot_f_test_vs_mi.py

Download zipped: plot_f_test_vs_mi.zip

Связанные примеры

Проверка с помощью перестановок значимости оценки классификации

Коррекция на случайность в оценке качества кластеризации

Однофакторный отбор признаков

Сравнение между поиском по сетке и последовательным урезанием