Постобработка настройки точки отсечения функции принятия решений

Набор данных по диабету

Для иллюстрации настройки порога принятия решений мы будем использовать набор данных по диабету. Этот набор данных доступен на OpenML: https://www.openml.org/d/37. Мы используем функцию fetch_openml для получения этого набора данных.

from sklearn.datasets import fetch_openml

diabetes = fetch_openml(data_id=37, as_frame=True, parser="pandas")
data, target = diabetes.data, diabetes.target

Рассмотрим целевую переменную, чтобы понять тип задачи, с которой мы имеем дело.

target.value_counts()

class
tested_negative    500
tested_positive    268
Name: count, dtype: int64

Мы видим, что мы имеем дело с задачей бинарной классификации. Поскольку метки не закодированы как 0 и 1, мы явно рассматриваем класс с меткой «tested_negative» как отрицательный класс (который также является наиболее частым), а класс с меткой «tested_positive» как положительный класс:

neg_label, pos_label = target.value_counts().index

Также можно заметить, что эта бинарная задача немного несбалансирована, где у нас примерно вдвое больше образцов из отрицательного класса, чем из положительного. При оценке следует учесть этот аспект для интерпретации результатов.

Наш базовый классификатор

Мы определим простую предсказательную модель, состоящую из масштабировщика, за которым следует классификатор логистической регрессии.

from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

model = make_pipeline(StandardScaler(), LogisticRegression())
model

Pipeline(steps=[('standardscaler', StandardScaler()),
                ('logisticregression', LogisticRegression())])

Pipeline(steps=[('standardscaler', StandardScaler()),
                ('logisticregression', LogisticRegression())])

Мы оцениваем нашу модель с помощью перекрестной проверки. Мы используем точность и сбалансированную точность для отчета о производительности нашей модели. Сбалансированная точность – это метрика, которая менее чувствительна к несбалансированности классов и позволит нам поставить показатель точности в перспективу.

Перекрестная проверка позволяет изучить дисперсию порога принятия решений при разных разбиениях данных. Однако набор данных довольно мал, и использование более 5 фолдов для оценки дисперсии было бы нецелесообразно. Поэтому мы используем RepeatedStratifiedKFold, где мы применяем несколько повторений 5-кратной перекрестной проверки.

import pandas as pd

from sklearn.model_selection import RepeatedStratifiedKFold, cross_validate

scoring = ["accuracy", "balanced_accuracy"]
cv_scores = [
    "train_accuracy",
    "test_accuracy",
    "train_balanced_accuracy",
    "test_balanced_accuracy",
]
cv = RepeatedStratifiedKFold(n_splits=5, n_repeats=10, random_state=42)
cv_results_vanilla_model = pd.DataFrame(
    cross_validate(
        model,
        data,
        target,
        scoring=scoring,
        cv=cv,
        return_train_score=True,
        return_estimator=True,
    )
)
cv_results_vanilla_model[cv_scores].aggregate(["mean", "std"]).T

Наша предсказательная модель успешно улавливает взаимосвязь между данными и целевой переменной. Значения точности на обучающей и тестовой выборках близки, что означает, что наша предсказательная модель не переобучается. Также мы можем заметить, что сбалансированная точность ниже, чем точность, из-за упомянутой ранее несбалансированности классов.

Для этого классификатора мы оставляем порог принятия решений, используемый для преобразования вероятности положительного класса в предсказание класса, на своем значении по умолчанию: 0,5. Однако этот порог может быть не оптимальным. Если нас интересует максимизация сбалансированной точности, мы должны выбрать другой порог, который бы максимизировал эту метрику.

Метаэстиматор TunedThresholdClassifierCV позволяет настроить порог принятия решений классификатора с учетом интересующей метрики.