Вложенная против невложенной перекрестной проверки

Этот пример сравнивает стратегии невложенной и вложенной перекрестной проверки (CV) на классификаторе набора данных ирисов. Вложенная перекрестная проверка часто используется для обучения модели, в которой также необходимо оптимизировать гиперпараметры. Вложенная перекрестная проверка оценивает обобщающую ошибку базовой модели и ее (гипер)параметров поиска. Выбор параметров, которые максимизируют невложенную перекрестную проверку, смещает модель в сторону набора данных, что приводит к чрезмерно оптимистичному результату.

Подбор модели без вложенной перекрестной проверки использует одни и те же данные для настройки параметров модели и оценки производительности модели. Таким образом, информация может «просочиться» в модель и привести к переобучению данных. Величина этого эффекта в первую очередь зависит от размера набора данных и устойчивости модели. Смотрите Cawley и Talbot [1] для анализа этих проблем.

Чтобы избежать этой проблемы, вложенная перекрестная проверка эффективно использует серию разделений на обучающий/валидационный/тестовый наборы. Во внутреннем цикле (здесь выполняется GridSearchCV), показатель приблизительно максимизируется путем подгонки модели к каждому обучающему набору, а затем непосредственно максимизируется при выборе (гипер)параметров на основе валидационного набора. Во внешнем цикле (здесь в cross_val_score) обобщающая ошибка оценивается путем усреднения оценок тестового набора по нескольким разбиениям набора данных.

В приведенном ниже примере используется классификатор опорных векторов с нелинейным ядром для построения модели с оптимизированными гиперпараметрами с помощью поиска по сетке. Мы сравниваем производительность стратегий невложенной и вложенной перекрестной проверки, взяв разницу между их оценками.

Ссылки

Average difference of 0.007581 with std. dev. of 0.007833.

# Authors: The scikit-learn developers
# SPDX-License-Identifier: BSD-3-Clause

import numpy as np
from matplotlib import pyplot as plt

from sklearn.datasets import load_iris
from sklearn.model_selection import GridSearchCV, KFold, cross_val_score
from sklearn.svm import SVC

# Number of random trials
NUM_TRIALS = 30

# Load the dataset
iris = load_iris()
X_iris = iris.data
y_iris = iris.target

# Set up possible values of parameters to optimize over
p_grid = {"C": [1, 10, 100], "gamma": [0.01, 0.1]}

# We will use a Support Vector Classifier with "rbf" kernel
svm = SVC(kernel="rbf")

# Arrays to store scores
non_nested_scores = np.zeros(NUM_TRIALS)
nested_scores = np.zeros(NUM_TRIALS)

# Loop for each trial
for i in range(NUM_TRIALS):
    # Choose cross-validation techniques for the inner and outer loops,
    # independently of the dataset.
    # E.g "GroupKFold", "LeaveOneOut", "LeaveOneGroupOut", etc.
    inner_cv = KFold(n_splits=4, shuffle=True, random_state=i)
    outer_cv = KFold(n_splits=4, shuffle=True, random_state=i)

    # Non_nested parameter search and scoring
    clf = GridSearchCV(estimator=svm, param_grid=p_grid, cv=outer_cv)
    clf.fit(X_iris, y_iris)
    non_nested_scores[i] = clf.best_score_

    # Nested CV with parameter optimization
    clf = GridSearchCV(estimator=svm, param_grid=p_grid, cv=inner_cv)
    nested_score = cross_val_score(clf, X=X_iris, y=y_iris, cv=outer_cv)
    nested_scores[i] = nested_score.mean()

score_difference = non_nested_scores - nested_scores

print(
    "Average difference of {:6f} with std. dev. of {:6f}.".format(
        score_difference.mean(), score_difference.std()
    )
)

# Plot scores on each trial for nested and non-nested CV
plt.figure()
plt.subplot(211)
(non_nested_scores_line,) = plt.plot(non_nested_scores, color="r")
(nested_line,) = plt.plot(nested_scores, color="b")
plt.ylabel("score", fontsize="14")
plt.legend(
    [non_nested_scores_line, nested_line],
    ["Non-Nested CV", "Nested CV"],
    bbox_to_anchor=(0, 0.4, 0.5, 0),
)
plt.title(
    "Non-Nested and Nested Cross Validation on Iris Dataset",
    x=0.5,
    y=1.1,
    fontsize="15",
)

# Plot bar chart of the difference.
plt.subplot(212)
difference_plot = plt.bar(range(NUM_TRIALS), score_difference)
plt.xlabel("Individual Trial #")
plt.legend(
    [difference_plot],
    ["Non-Nested CV - Nested CV Score"],
    bbox_to_anchor=(0, 1, 0.8, 0),
)
plt.ylabel("score difference", fontsize="14")

plt.show()

Общее время выполнения скрипта: (0 минут 8.869 секунд)

Download Jupyter notebook: plot_nested_cross_validation_iris.ipynb

Download Python source code: plot_nested_cross_validation_iris.py

Download zipped: plot_nested_cross_validation_iris.zip

Связанные примеры

Обзор мета-оценщиков для многоклассовой тренировки

Объединение нескольких методов извлечения признаков

Визуализация поведения перекрестной проверки в scikit-learn

Рекурсивное исключение признаков с перекрестной проверкой