ScoringMonitor

classsklearn.callback.ScoringMonitor(*, scoring)[исходный код]

Обратный вызов, отслеживающий оценку на каждом итеративном шаге оценщика.

Указанный оценщик вызывается на обучающих данных на каждом итеративном шаге оценщика, а оценка регистрируется обратным вызовом. Журналы можно получить с помощью метода get_logs.

Параметры:

scoringstr, callable, list, tuple, dict or None

Метод оценки, используемый для отслеживания модели.

Если scoring представляет одну оценку, можно использовать:

• одну строку (см. Оценщики, задаваемые именем в виде строки);
• вызываемый объект (см. Вызываемые оценщики), возвращающий одно значение;
• None используется критерий оценки по умолчанию для estimator.

Если scoring представляет несколько оценок, можно использовать:

• список или кортеж уникальных строк;
• вызываемый объект, возвращающий словарь, в котором ключи — имена метрик, а значения — оценки метрик;
• словарь, где в качестве ключей указаны имена метрик, а в качестве значений — вызываемые объекты.

get_logs(select='most_recent', include_lineage=False)[исходный код]

Получить зарегистрированные оценки.

Записи журнала группируются по запускам, соответствующим самым внешним охватывающим вызовам fit. Если оценщик, к которому подключен этот обратный вызов, обёрнут в метаоценщики, запуск соответствует одному вызову fit самого внешнего метаоценщика. Если метаоценщик не используется, запуск соответствует одному вызову fit оценщика.

Для заданного запуска оценки регистрируются в объекте ScoringMonitorLog, содержащем:

• run_id: уникальный идентификатор запуска;
• estimator_name: имя оценщика (или метаоценщика) для этого запуска;
• timestamp: временную метку начала запуска;
• data: зарегистрированные оценки для запуска. Каждое значение оценки связано с контекстом задачи, для которой была вычислена оценка;
• data_as_pandas: зарегистрированные оценки в виде DataFrame Pandas.

Подробнее о структуре зарегистрированных оценок см. в разделе ScoringMonitorLog.

Параметры:

select{“all”, “most_recent”}, default=”most_recent”

Какой запуск из журнала вернуть:

• "all": вернуть зарегистрированные оценки для всех запусков;
• "most_recent": вернуть зарегистрированные оценки для самого последнего запуска.

include_lineagebool, default=False

Следует ли включать в журнал информацию о происхождении задач.

Если установлено значение True, журнал содержит дополнительные строки для каждой задачи, являющейся предком задачи, для которой вычислялась оценка. Эти дополнительные строки можно использовать для получения контекста всех задач-предков заданной задачи, для которой вычислялась оценка. Для этих дополнительных строк записи оценок отсутствуют, если as_frame равно False, или содержат значения NaN, если as_frame равно True.

Возвращает:

logsScoringMonitorLog или список объектов ScoringMonitorLog

Зарегистрированные оценки. Если select=="most_recent", возвращается один объект ScoringMonitorLog. В противном случае возвращается список журналов всех запусков.

Примеры из галереи

Анализ сходимости моделей логистической регрессии с регуляризацией

Основные нововведения scikit-learn 1.9