3.2. Настройка гиперпараметров оценщика

• См. Вложенная против невложенной перекрестной проверки для примера поиска по сетке в цикле перекрестной проверки на наборе данных iris. Это наилучшая практика для оценки производительности модели с помощью поиска по сетке.
• См. Демонстрация оценки по нескольким метрикам в cross_val_score и GridSearchCV для примера использования GridSearchCV для одновременной оценки нескольких метрик.
• См. Сбалансируйте сложность модели и оценку с перекрестной проверкой для примера использования интерфейса refit=callable в GridSearchCV. Пример демонстрирует, как этот интерфейс добавляет определенную гибкость в определении «лучшего» оценщика. Этот интерфейс также может использоваться для оценки по нескольким метрикам.
• См. Статистическое сравнение моделей с использованием поиска по сетке для примера того, как выполнить статистическое сравнение результатов из GridSearchCV.

Помимо factor, два основных параметра, которые влияют на поведение поиска с помощью последовательного удвоения, — это параметр min_resources и количество кандидатов (или сочетаний параметров), которые оцениваются. min_resources — это количество ресурсов, выделенных на первой итерации для каждого кандидата. Количество кандидатов указывается напрямую в HalvingRandomSearchCV и определяется из параметра param_grid в HalvingGridSearchCV.

Рассмотрим случай, когда ресурс — это количество выборок, и у нас есть 1000 выборок. Теоретически, с min_resources=10 и factor=2, мы можем выполнить максимум 7 итераций с указанным количеством выборок: [10, 20, 40, 80, 160, 320, 640].

Но в зависимости от количества кандидатов, мы можем выполнить меньше итераций: если мы начнем с малого количества кандидатов, последняя итерация может использовать меньше 640 выборок, что означает неиспользование всех доступных ресурсов (выборок). Например, если мы начнем с 5 кандидатов, нам понадобится всего 2 итерации: 5 кандидатов для первой итерации, а затем 5 // 2 = 2 кандидатов на второй итерации, после чего мы узнаем, какой кандидат работает лучше (поэтому нам не нужен третий). Мы бы использовали максимум 20 выборок, что является потерей, поскольку у нас есть 1000 выборок в нашем распоряжении. С другой стороны, если мы начнем с большого количества кандидатов, мы можем получить много кандидатов на последней итерации, что не всегда идеально: это означает, что многие кандидаты будут работать с полными ресурсами, в основном сводя процедуру к стандартному поиску.

В случае HalvingRandomSearchCV количество кандидатов по умолчанию устанавливается таким образом, чтобы последняя итерация использовала как можно больше доступных ресурсов. Для HalvingGridSearchCV количество кандидатов определяется параметром param_grid. Изменение значения min_resources повлияет на количество возможных итераций и, как следствие, также повлияет на оптимальное количество кандидатов.

Еще одним соображением при выборе min_resources является то, легко ли различать хороших и плохих кандидатов с небольшим количеством ресурсов. Например, если вам нужно много выборок, чтобы различить хорошие и плохие параметры, рекомендуется высокое значение min_resources. С другой стороны, если различие очевидно даже с небольшим количеством выборок, то может быть предпочтительно небольшое значение min_resources , так как это ускорит вычисления.

Обратите внимание в примере выше, что последняя итерация не использует максимальное количество доступных ресурсов: доступно 1000 выборок, но используется максимум 640. По умолчанию как HalvingRandomSearchCV, так и HalvingGridSearchCV пытаются использовать как можно больше ресурсов на последней итерации, с ограничением, что это количество ресурсов должно быть кратно как min_resources, так и factor (это ограничение будет понятно в следующем разделе). HalvingRandomSearchCV достигает этого путем выбора правильного количества кандидатов, а HalvingGridSearchCV достигает этого путем правильной настройки параметра min_resources.

На любой итерации i, каждому кандидату выделяется определенное количество ресурсов, которое мы обозначаем n_resources_i. Эта величина контролируется параметрами factor и min_resources следующим образом (factor строго больше 1):

n_resources_i = factor**i * min_resources,

или эквивалентно:

n_resources_{i+1} = n_resources_i * factor

где min_resources == n_resources_0 — количество ресурсов, используемых на первой итерации. factor также определяет пропорции кандидатов, которые будут отобраны для следующей итерации:

n_candidates_i = n_candidates // (factor ** i)

или эквивалентно:

n_candidates_0 = n_candidates
n_candidates_{i+1} = n_candidates_i // factor

Итак, на первой итерации мы используем min_resources ресурсов n_candidates раз. На второй итерации мы используем min_resources * factor ресурсов n_candidates // factor раз. Третья снова умножает ресурсы на кандидата и делит число кандидатов. Этот процесс останавливается, когда достигается максимальное количество ресурсов на кандидата или когда мы определили лучшего кандидата. Лучший кандидат определяется на итерации, на которой оценивается factor или меньше кандидатов (объяснение см. ниже).

Вот пример с min_resources=3 и factor=2, начиная с 70 кандидатов:

Можно заметить, что:

• процесс останавливается на первой итерации, которая оценивает factor=2 кандидатов: лучший кандидат — лучший из этих 2 кандидатов. Нет необходимости запускать дополнительную итерацию, так как она будет оценивать только одного кандидата (а именно лучшего, которого мы уже определили). По этой причине, вообще говоря, мы хотим, чтобы последняя итерация оценивала не более factor кандидатов. Если последняя итерация оценивает больше factor кандидатов, то эта последняя итерация сводится к стандартному поиску (как в RandomizedSearchCV или GridSearchCV).
• каждый n_resources_i является кратным как factor, так и min_resources (что подтверждается его определением выше).

Количество ресурсов, используемых на каждой итерации, можно найти в атрибуте n_resources_.

По умолчанию ресурс определяется в терминах количества образцов. То есть, на каждой итерации будет использоваться увеличивающееся количество образцов для обучения. Однако вы можете вручную указать параметр для использования в качестве ресурса с параметром resource. Вот пример, где ресурс определен в терминах количества оценщиков случайного леса:

>>> from sklearn.datasets import make_classification
>>> from sklearn.ensemble import RandomForestClassifier
>>> from sklearn.experimental import enable_halving_search_cv  # noqa
>>> from sklearn.model_selection import HalvingGridSearchCV
>>> import pandas as pd
>>> param_grid = {'max_depth': [3, 5, 10],
...               'min_samples_split': [2, 5, 10]}
>>> base_estimator = RandomForestClassifier(random_state=0)
>>> X, y = make_classification(n_samples=1000, random_state=0)
>>> sh = HalvingGridSearchCV(base_estimator, param_grid, cv=5,
...                          factor=2, resource='n_estimators',
...                          max_resources=30).fit(X, y)
>>> sh.best_estimator_
RandomForestClassifier(max_depth=5, n_estimators=24, random_state=0)

Обратите внимание, что невозможно ограничить параметр, являющийся частью сетки параметров.

Как упоминалось выше, количество ресурсов, используемых на каждой итерации, зависит от параметра min_resources. Если у вас много доступных ресурсов, но вы начинаете с небольшого количества ресурсов, некоторые из них могут быть потрачены зря (т.е. не использованы):

>>> from sklearn.datasets import make_classification
>>> from sklearn.svm import SVC
>>> from sklearn.experimental import enable_halving_search_cv  # noqa
>>> from sklearn.model_selection import HalvingGridSearchCV
>>> import pandas as pd
>>> param_grid= {'kernel': ('linear', 'rbf'),
...              'C': [1, 10, 100]}
>>> base_estimator = SVC(gamma='scale')
>>> X, y = make_classification(n_samples=1000)
>>> sh = HalvingGridSearchCV(base_estimator, param_grid, cv=5,
...                          factor=2, min_resources=20).fit(X, y)
>>> sh.n_resources_
[20, 40, 80]

Процесс поиска будет использовать не более 80 ресурсов, в то время как наше максимальное количество доступных ресурсов составляет n_samples=1000. Здесь у нас min_resources = r_0 = 20.

Для HalvingGridSearchCV по умолчанию параметр min_resources устанавливается в ‘exhaust’. Это означает, что min_resources автоматически устанавливается так, чтобы последняя итерация могла использовать как можно больше ресурсов, в пределах ограничения max_resources:

>>> sh = HalvingGridSearchCV(base_estimator, param_grid, cv=5,
...                          factor=2, min_resources='exhaust').fit(X, y)
>>> sh.n_resources_
[250, 500, 1000]

min_resources здесь автоматически был установлен в 250, что привело к использованию всех ресурсов на последней итерации. Точное значение зависит от количества кандидатов, от max_resources и от factor.

Для HalvingRandomSearchCV использование всех ресурсов можно осуществить двумя способами:

• установив min_resources='exhaust', как и для HalvingGridSearchCV;
• установив n_candidates='exhaust'.

Оба варианта взаимоисключающие: использование min_resources='exhaust' требует знания количества кандидатов, а симметрично n_candidates='exhaust' требует знания min_resources.

В целом, использование всех ресурсов приводит к лучшему итоговому параметру кандидата и немного более трудоёмко по времени.