Примечание
Перейти в конец, чтобы скачать полный код примера или запустить его в браузере с помощью JupyterLite или Binder.
Сравнение F-критерия и взаимной информации
В этом примере показаны различия между статистикой одномерного F-критерия и взаимной информацией.
Рассмотрим 3 признака x_1, x_2, x_3, равномерно распределённых на [0, 1]. Целевая переменная зависит от них следующим образом:
y = x_1 + sin(6 * pi * x_2) + 0.1 * N(0, 1), то есть третий признак совершенно несущественен.
Приведённый ниже код строит график зависимости y от отдельных x_i, а также нормализованных значений статистики одномерных F-критериев и взаимной информации.
Поскольку F-критерий учитывает только линейную зависимость, он считает x_1 наиболее информативным признаком. С другой стороны, взаимная информация может выявлять зависимости любого типа между переменными и считает x_2 наиболее информативным признаком, что, вероятно, лучше соответствует нашему интуитивному восприятию этого примера. Оба метода верно определяют x_3 как несущественный признак.
# Authors: The scikit-learn developers
# SPDX-License-Identifier: BSD-3-Clause
import matplotlib.pyplot as plt
import numpy as np
from sklearn.feature_selection import f_regression, mutual_info_regression
np.random.seed(0)
X = np.random.rand(1000, 3)
y = X[:, 0] + np.sin(6 * np.pi * X[:, 1]) + 0.1 * np.random.randn(1000)
f_test, _ = f_regression(X, y)
f_test /= np.max(f_test)
mi = mutual_info_regression(X, y)
mi /= np.max(mi)
plt.figure(figsize=(15, 5))
for i in range(3):
plt.subplot(1, 3, i + 1)
plt.scatter(X[:, i], y, edgecolor="black", s=20)
plt.xlabel("$x_{}$".format(i + 1), fontsize=14)
if i == 0:
plt.ylabel("$y$", fontsize=14)
plt.title("F-test={:.2f}, MI={:.2f}".format(f_test[i], mi[i]), fontsize=16)
plt.show()
Общее время выполнения скрипта: (0 минут 0.206 секунды)
Связанные примеры
© 2007–2026 The scikit-learn developers
Licensed under the 3-clause BSD License.
https://scikit-learn.org/1.9/auto_examples/feature_selection/plot_f_test_vs_mi.html
