3.5. Кривые валидации: построение оценок для оценки моделей

3.5.1. Кривая валидации

Для проверки модели нам нужна функция оценки (см. Метрики и оценка: количественное определение качества прогнозов), например, точность для классификаторов. Правильный способ выбора нескольких гиперпараметров оценочного метода — конечно, поиск по сетке или аналогичные методы (см. Настройка гиперпараметров оценочного метода), которые выбирают гиперпараметр с максимальной оценкой на наборе валидации или нескольких наборах валидации. Обратите внимание, что если мы оптимизируем гиперпараметры на основе оценки валидации, оценка валидации имеет смещение и больше не является хорошей оценкой обобщения. Чтобы получить правильную оценку обобщения, необходимо вычислить оценку на другом тестовом наборе.

Однако иногда полезно построить график влияния одного гиперпараметра на оценку обучения и оценку валидации, чтобы выяснить, переобучается или недообучается оценочный метод для некоторых значений гиперпараметров.

Функция validation_curve может помочь в этом случае:

>>> import numpy as np
>>> from sklearn.model_selection import validation_curve
>>> from sklearn.datasets import load_iris
>>> from sklearn.svm import SVC

>>> np.random.seed(0)
>>> X, y = load_iris(return_X_y=True)
>>> indices = np.arange(y.shape[0])
>>> np.random.shuffle(indices)
>>> X, y = X[indices], y[indices]

>>> train_scores, valid_scores = validation_curve(
...     SVC(kernel="linear"), X, y, param_name="C", param_range=np.logspace(-7, 3, 3),
... )
>>> train_scores
array([[0.90..., 0.94..., 0.91..., 0.89..., 0.92...],
       [0.9... , 0.92..., 0.93..., 0.92..., 0.93...],
       [0.97..., 1...   , 0.98..., 0.97..., 0.99...]])
>>> valid_scores
array([[0.9..., 0.9... , 0.9... , 0.96..., 0.9... ],
       [0.9..., 0.83..., 0.96..., 0.96..., 0.93...],
       [1.... , 0.93..., 1....  , 1....  , 0.9... ]])

Если вы хотите построить только кривые валидации, класс ValidationCurveDisplay более прямой, чем использование matplotlib вручную на результатах вызова validation_curve. Вы можете использовать метод from_estimator аналогично validation_curve для генерации и построения кривой валидации:

from sklearn.datasets import load_iris
from sklearn.model_selection import ValidationCurveDisplay
from sklearn.svm import SVC
from sklearn.utils import shuffle
X, y = load_iris(return_X_y=True)
X, y = shuffle(X, y, random_state=0)
ValidationCurveDisplay.from_estimator(
   SVC(kernel="linear"), X, y, param_name="C", param_range=np.logspace(-7, 3, 10)
)

Если оценка обучения и оценка валидации обе низкие, оценочный метод будет недообученным. Если оценка обучения высокая, а оценка валидации низкая, оценочный метод переобучается, а в противном случае он работает очень хорошо. Низкая оценка обучения и высокая оценка валидации обычно невозможны.

3.5.2. Кривая обучения

Кривая обучения показывает оценку валидации и обучения оценочного метода для различных количества обучающих образцов. Это инструмент для определения того, насколько мы выиграем от добавления большего количества обучающих данных и от чего больше страдает оценочный метод: от ошибки смещения или от ошибки дисперсии. Рассмотрим следующий пример, где мы строим кривую обучения для классификатора наивного Байеса и SVM.

Для наивного Байеса и оценка валидации, и оценка обучения сходятся к значению, которое довольно низкое с увеличением размера обучающего набора. Таким образом, мы, вероятно, не получим много пользы от увеличения обучающего набора.

В отличие от этого, для малого количества данных оценка обучения SVM намного больше, чем оценка валидации. Добавление большего количества обучающих образцов, скорее всего, увеличит обобщение.

Мы можем использовать функцию learning_curve для генерации значений, необходимых для построения такой кривой обучения (количество образцов, которые были использованы, средние оценки на наборах обучения и средние оценки на наборах валидации):

>>> from sklearn.model_selection import learning_curve
>>> from sklearn.svm import SVC

>>> train_sizes, train_scores, valid_scores = learning_curve(
...     SVC(kernel='linear'), X, y, train_sizes=[50, 80, 110], cv=5)
>>> train_sizes
array([ 50, 80, 110])
>>> train_scores
array([[0.98..., 0.98 , 0.98..., 0.98..., 0.98...],
       [0.98..., 1.   , 0.98..., 0.98..., 0.98...],
       [0.98..., 1.   , 0.98..., 0.98..., 0.99...]])
>>> valid_scores
array([[1. ,  0.93...,  1. ,  1. ,  0.96...],
       [1. ,  0.96...,  1. ,  1. ,  0.96...],
       [1. ,  0.96...,  1. ,  1. ,  0.96...]])

Если вы хотите построить только кривые обучения, класс LearningCurveDisplay будет легче в использовании. Вы можете использовать метод from_estimator аналогично learning_curve для генерации и построения кривой обучения:

from sklearn.datasets import load_iris
from sklearn.model_selection import LearningCurveDisplay
from sklearn.svm import SVC
from sklearn.utils import shuffle
X, y = load_iris(return_X_y=True)
X, y = shuffle(X, y, random_state=0)
LearningCurveDisplay.from_estimator(
   SVC(kernel="linear"), X, y, train_sizes=[50, 80, 110], cv=5)

Примеры

• См. Построение кривых обучения и проверка масштабируемости моделей для примера использования кривых обучения для проверки масштабируемости предсказательной модели.