3.2. Настройка гиперпараметров оценивателя

• В примере Вложенная и невложенная перекрёстная проверка показан поиск по сетке внутри цикла перекрёстной проверки на наборе данных ирисов. Это рекомендуемый способ оценки производительности модели с помощью поиска по сетке.
• В примере Пример оценки по нескольким метрикам в cross_val_score и GridSearchCV показано, как использовать GridSearchCV для одновременной оценки по нескольким метрикам.
• В примере Компромисс между сложностью модели и оценкой при перекрёстной проверке показано использование интерфейса refit=callable в GridSearchCV. Пример показывает, как этот интерфейс позволяет гибко определять «наилучший» оцениватель. Этот интерфейс также можно использовать для оценки по нескольким метрикам.
• В примере Статистическое сравнение моделей с помощью поиска по сетке показано, как выполнить статистическое сравнение результатов GridSearchCV.

Помимо factor, на поведение поиска методом последовательного деления пополам влияют два основных параметра: параметр min_resources и количество оцениваемых кандидатов (или комбинаций параметров). min_resources — это объём ресурсов, выделяемых каждому кандидату на первой итерации. Количество кандидатов задаётся напрямую в HalvingRandomSearchCV и определяется параметром param_grid в HalvingGridSearchCV.

Рассмотрим случай, когда ресурсом является количество примеров и у нас есть 1000 примеров. Теоретически при min_resources=10 и factor=2 мы можем выполнить не более 7 итераций со следующим количеством примеров: [10, 20, 40, 80, 160, 320, 640].

Однако в зависимости от количества кандидатов мы можем выполнить менее 7 итераций: если начать с небольшого количества кандидатов, на последней итерации может использоваться менее 640 примеров, то есть не все доступные ресурсы (примеры) будут задействованы. Например, если начать с 5 кандидатов, достаточно всего 2 итераций: на первой — 5 кандидатов, затем на второй — 5 // 2 = 2 кандидата, после чего мы узнаем, какой кандидат работает лучше всего (поэтому третья итерация не нужна). Мы использовали бы не более 20 примеров, что было бы расточительно, поскольку в нашем распоряжении есть 1000 примеров. С другой стороны, если начать с большого количества кандидатов, на последней итерации их может остаться много, что не всегда оптимально: это означает, что многие кандидаты будут оцениваться с использованием всех ресурсов, и процедура фактически сведётся к стандартному поиску.

В случае HalvingRandomSearchCV количество кандидатов по умолчанию задаётся таким образом, чтобы на последней итерации использовалось как можно больше доступных ресурсов. Для HalvingGridSearchCV количество кандидатов определяется параметром param_grid. Изменение значения min_resources повлияет на возможное количество итераций и, как следствие, также скажется на оптимальном количестве кандидатов.

При выборе min_resources также следует учитывать, легко ли отличить хорошие кандидаты от плохих при небольшом объёме ресурсов. Например, если для различения хороших и плохих параметров требуется много примеров, рекомендуется высокое значение min_resources. С другой стороны, если различие очевидно даже при небольшом количестве примеров, может быть предпочтительно низкое значение min_resources, поскольку это ускорит вычисления.

Обратите внимание: в приведённом выше примере на последней итерации не используется максимально возможный объём ресурсов: доступно 1000 примеров, но используется не более 640. По умолчанию и HalvingRandomSearchCV, и HalvingGridSearchCV стараются использовать на последней итерации как можно больше ресурсов при условии, что их объём должен быть кратен и min_resources, и factor (это условие станет понятным в следующем разделе). HalvingRandomSearchCV достигает этого, выбирая нужное количество кандидатов, а HalvingGridSearchCV — правильно задавая min_resources.

На каждой итерации i каждому кандидату выделяется определённый объём ресурсов, который мы обозначим n_resources_i. Эта величина определяется параметрами factor и min_resources следующим образом (factor строго больше 1):

n_resources_i = factor**i * min_resources,

или, что эквивалентно:

n_resources_{i+1} = n_resources_i * factor

где min_resources == n_resources_0 — объём ресурсов, используемый на первой итерации. factor также определяет долю кандидатов, которые будут отобраны для следующей итерации:

n_candidates_i = n_candidates // (factor ** i)

или, что эквивалентно:

n_candidates_0 = n_candidates
n_candidates_{i+1} = n_candidates_i // factor

Таким образом, на первой итерации мы используем min_resources ресурсов n_candidates раз. На второй итерации мы используем min_resources * factor ресурсов n_candidates // factor раз. На третьей итерации объём ресурсов на кандидата снова увеличивается, а количество кандидатов уменьшается. Этот процесс продолжается до тех пор, пока не будет достигнут максимальный объём ресурсов на кандидата или пока не будет найден лучший кандидат. Лучший кандидат определяется на той итерации, на которой оценивается не более factor кандидатов (пояснение см. ниже).

Рассмотрим пример с min_resources=3 и factor=2, начиная с 70 кандидатов:

Можно заметить, что:

• процесс останавливается на первой итерации, на которой оцениваются factor=2 кандидата: лучший кандидат выбирается из этих двух. Дополнительная итерация не требуется, поскольку на ней оценивался бы только один кандидат (а именно лучший, которого мы уже определили). Поэтому обычно мы хотим, чтобы на последней итерации оценивалось не более factor кандидатов. Если на последней итерации оценивается более factor кандидатов, она превращается в обычный поиск (как в RandomizedSearchCV или GridSearchCV).
• каждое значение n_resources_i кратно и factor, и min_resources (что следует из приведённого выше определения).

Объём ресурсов, используемый на каждой итерации, можно найти в атрибуте n_resources_.

По умолчанию ресурс определяется количеством образцов. То есть на каждой итерации для обучения будет использоваться всё больше образцов. Однако можно вручную указать параметр, используемый в качестве ресурса, с помощью параметра resource. Ниже приведён пример, в котором ресурс определяется количеством оценщиков случайного леса:

>>> from sklearn.datasets import make_classification
>>> from sklearn.ensemble import RandomForestClassifier
>>> from sklearn.experimental import enable_halving_search_cv  # noqa
>>> from sklearn.model_selection import HalvingGridSearchCV
>>> import pandas as pd
>>> param_grid = {'max_depth': [3, 5, 10],
...               'min_samples_split': [2, 5, 10]}
>>> base_estimator = RandomForestClassifier(random_state=0)
>>> X, y = make_classification(n_samples=1000, random_state=0)
>>> sh = HalvingGridSearchCV(base_estimator, param_grid, cv=5,
...                          factor=2, resource='n_estimators',
...                          max_resources=30).fit(X, y)
>>> sh.best_estimator_
RandomForestClassifier(max_depth=5, n_estimators=24, random_state=0)

Обратите внимание, что нельзя задать бюджет для параметра, входящего в сетку параметров.

Как упоминалось выше, количество ресурсов, используемых на каждой итерации, зависит от параметра min_resources. Если доступно много ресурсов, но поиск начинается с малого их количества, некоторые ресурсы могут быть потрачены впустую (то есть не использованы):

>>> from sklearn.datasets import make_classification
>>> from sklearn.svm import SVC
>>> from sklearn.experimental import enable_halving_search_cv  # noqa
>>> from sklearn.model_selection import HalvingGridSearchCV
>>> import pandas as pd
>>> param_grid= {'kernel': ('linear', 'rbf'),
...              'C': [1, 10, 100]}
>>> base_estimator = SVC(gamma='scale')
>>> X, y = make_classification(n_samples=1000)
>>> sh = HalvingGridSearchCV(base_estimator, param_grid, cv=5,
...                          factor=2, min_resources=20).fit(X, y)
>>> sh.n_resources_
[20, 40, 80]

В процессе поиска будет использовано не более 80 ресурсов, тогда как максимальное количество доступных ресурсов равно n_samples=1000. Здесь имеем min_resources = r_0 = 20.

Для HalvingGridSearchCV параметр min_resources по умолчанию имеет значение ‘exhaust’. Это означает, что min_resources автоматически задаётся таким образом, чтобы на последней итерации можно было использовать максимально возможное количество ресурсов в пределах ограничения max_resources:

>>> sh = HalvingGridSearchCV(base_estimator, param_grid, cv=5,
...                          factor=2, min_resources='exhaust').fit(X, y)
>>> sh.n_resources_
[250, 500, 1000]

Здесь min_resources автоматически получил значение 250, благодаря чему на последней итерации используются все ресурсы. Точное используемое значение зависит от количества параметров-кандидатов, от max_resources и от factor.

Для HalvingRandomSearchCV исчерпать ресурсы можно двумя способами:

• задать min_resources='exhaust', как и для HalvingGridSearchCV;
• задать n_candidates='exhaust'.

Эти варианты взаимоисключающие: для использования min_resources='exhaust' необходимо знать количество кандидатов, а для n_candidates='exhaust', соответственно, требуется знать min_resources.

Как правило, использование всех доступных ресурсов позволяет получить лучший итоговый параметр-кандидат и требует немного больше времени.