make_scorer

sklearn.metrics.make_scorer(score_func, *, response_method='predict', greater_is_better=True, **kwargs)[исходный код]

Создаёт объект для оценки на основе метрики качества или функции потерь.

Объект для оценки — это обёртка над произвольной метрикой или функцией потерь, которая вызывается с сигнатурой scorer(estimator, X, y_true, **kwargs).

Он принимается всеми оценивателями и функциями scikit-learn, поддерживающими параметр scoring.

Параметр response_method позволяет указать, какой метод оценивателя следует использовать для передачи данных в функцию оценки или потерь.

Подробнее см. в Руководстве пользователя.

Параметры:

score_funcвызываемый объект

Функция оценки (или функция потерь) с сигнатурой score_func(y, y_pred, **kwargs).

response_method{“predict_proba”, “decision_function”, “predict”} или список/кортеж таких строк, по умолчанию “predict”

Задаёт метод получения предсказаний оценивателя (например, predict_proba, decision_function или predict). Возможны следующие варианты:

• если str, соответствует имени возвращаемого метода;
• если это список или кортеж из str, имена методов задаются в порядке предпочтения. Будет выбран первый метод из списка, реализованный в estimator.

Добавлено в версии 1.4.

greater_is_betterbool, по умолчанию True

Определяет, является ли score_func функцией оценки (по умолчанию), для которой большее значение лучше, или функцией потерь, для которой лучше меньшее значение. Во втором случае объект для оценки меняет знак результата score_func.

**kwargsдополнительные аргументы

Дополнительные параметры, передаваемые в score_func.

Возвращает:

scorerвызываемый объект

Вызываемый объект, возвращающий скалярную оценку; чем она больше, тем лучше.

Примеры

>>> from sklearn.metrics import fbeta_score, make_scorer
>>> ftwo_scorer = make_scorer(fbeta_score, beta=2)
>>> ftwo_scorer
make_scorer(fbeta_score, response_method='predict', beta=2)
>>> from sklearn.model_selection import GridSearchCV
>>> from sklearn.svm import LinearSVC
>>> grid = GridSearchCV(LinearSVC(), param_grid={'C': [1, 10]},
...                     scoring=ftwo_scorer)

Примеры в галерее

Лаговые признаки для прогнозирования временных рядов

Интервалы предсказаний для градиентного бустинга в задаче регрессии

Признаки деревьев с градиентным бустингом на гистограммах

Настройка порога принятия решений после обучения для обучения с учётом затрат

Демонстрация оценки по нескольким метрикам с помощью cross_val_score и GridSearchCV

Основные изменения в scikit-learn 1.5