tf.keras.metrics.AUC

Аппроксимирует AUC (площадь под кривой) для ROC- или PR-кривых.

Наследуется от: Metric

tf.keras.metrics.AUC(
    num_thresholds=200,
    curve='ROC',
    summation_method='interpolation',
    name=None,
    dtype=None,
    thresholds=None,
    multi_label=False,
    num_labels=None,
    label_weights=None,
    from_logits=False
)

Используется в блокнотах

AUC (площадь под кривой) ROC-кривой (рабочей характеристики приёмника; используется по умолчанию) или PR-кривой (точность-полнота) — это показатели качества бинарных классификаторов. В отличие от точности и подобно потерям на основе перекрёстной энтропии, ROC-AUC и PR-AUC оценивают все рабочие точки модели.

Этот класс аппроксимирует AUC с помощью суммы Римана. На этапе накопления метрики предсказания распределяются по заранее заданным диапазонам значений. Затем AUC вычисляется путём интерполяции средних значений в каждом диапазоне. Эти диапазоны определяют оцениваемые рабочие точки.

Эта метрика создаёт четыре локальные переменные: true_positives, true_negatives, false_positives и false_negatives, которые используются для вычисления AUC. Для дискретизации кривой AUC используется равномерно распределённый набор пороговых значений, позволяющий вычислить пары значений полноты и точности. Поэтому площадь под ROC-кривой вычисляется как высота значений полноты, умноженная на долю ложноположительных результатов, а площадь под PR-кривой — как высота значений точности, умноженная на полноту.

В конечном итоге это значение возвращается как auc — идемпотентная операция, которая вычисляет площадь под дискретизированной кривой значений точности и полноты (вычисленных с помощью упомянутых выше переменных). Переменная num_thresholds задаёт степень дискретизации: чем больше пороговых значений, тем точнее аппроксимация истинного AUC. Качество аппроксимации может значительно различаться в зависимости от num_thresholds. Параметр thresholds можно использовать для указания пороговых значений вручную, чтобы распределить предсказания более равномерно.

Для наиболее точной аппроксимации реального AUC значения predictions должны быть распределены примерно равномерно в диапазоне [0, 1] (если from_logits=False). Если это условие не выполняется, качество аппроксимации AUC может быть низким. Установка summation_method в значение 'minoring' или 'majoring' помогает оценить погрешность аппроксимации, задавая нижнюю или верхнюю границу AUC.

Если sample_weight равно None, веса по умолчанию равны 1. Используйте sample_weight со значением 0, чтобы исключить значения из расчёта.

Пример:

m = keras.metrics.AUC(num_thresholds=3)
m.update_state([0, 0, 1, 1], [0, 0.5, 0.3, 0.9])
# threshold values are [0 - 1e-7, 0.5, 1 + 1e-7]
# tp = [2, 1, 0], fp = [2, 0, 0], fn = [0, 1, 2], tn = [0, 2, 2]
# tp_rate = recall = [1, 0.5, 0], fp_rate = [1, 0, 0]
# auc = ((((1 + 0.5) / 2) * (1 - 0)) + (((0.5 + 0) / 2) * (0 - 0)))
#     = 0.75
m.result()
0.75

m.reset_state()
m.update_state([0, 0, 1, 1], [0, 0.5, 0.3, 0.9],
               sample_weight=[1, 0, 0, 1])
m.result()
1.0

Использование с API compile():

# Reports the AUC of a model outputting a probability.
model.compile(optimizer='sgd',
              loss=keras.losses.BinaryCrossentropy(),
              metrics=[keras.metrics.AUC()])

# Reports the AUC of a model outputting a logit.
model.compile(optimizer='sgd',
              loss=keras.losses.BinaryCrossentropy(from_logits=True),
              metrics=[keras.metrics.AUC(from_logits=True)])

Методы

add_variable

Посмотреть исходный код

add_variable(
    shape, initializer, dtype=None, aggregation='sum', name=None
)

add_weight

Посмотреть исходный код

add_weight(
    shape=(), initializer=None, dtype=None, name=None
)

from_config

Посмотреть исходный код

@classmethod
from_config(
    config
)

get_config

Посмотреть исходный код

get_config()

Возвращает сериализуемую конфигурацию метрики.

interpolate_pr_auc

Посмотреть исходный код

interpolate_pr_auc()

Формула интерполяции основана на разделе 4 работы Davis & Goadrich (2006).

https://www.biostat.wisc.edu/~page/rocpr.pdf

Здесь мы выводим и используем замкнутую формулу, отсутствующую в статье, следующим образом:

Precision = TP / (TP + FP) = TP / P

Предполагая, что TP (истинно положительные), FP (ложно положительные) и их сумма P = TP + FP (предсказанные положительные результаты) линейно изменяются на каждом интервале [A, B] между соседними пороговыми значениями, получаем

Precision slope = dTP / dP
                = (TP_B - TP_A) / (P_B - P_A)
                = (TP - TP_A) / (P - P_A)
Precision = (TP_A + slope * (P - P_A)) / P

Площадь интервала равна (наклон / общий вес положительных результатов), умноженному на

int_A^B{Precision.dP} = int_A^B{(TP_A + slope * (P - P_A)) * dP / P}
int_A^B{Precision.dP} = int_A^B{slope * dP + intercept * dP / P}

где intercept = TP_A - slope * P_A = TP_B - slope * P_B, в результате чего получаем

int_A^B{Precision.dP} = TP_B - TP_A + intercept * log(P_B / P_A)

Возвращая множитель (slope / общий вес положительных результатов), который мы отложили, получаем

slope * [dTP + intercept *  log(P_B / P_A)] / total_pos_weight

где dTP == TP_B - TP_A.

Обратите внимание: если P_A == 0, приведённое выше вычисление упрощается до

int_A^B{Precision.dTP} = int_A^B{slope * dTP}
                       = slope * (TP_B - TP_A)

что эквивалентно присвоению постоянной точности на протяжении первой корзины, в которой есть >0 истинно положительных результатов.

reset_state

Посмотреть исходный код

reset_state()

Сбрасывает все переменные состояния метрики.

Эта функция вызывается между эпохами и шагами, когда метрика вычисляется во время обучения.

result

Посмотреть исходный код

result()

Вычисляет текущее значение метрики.

stateless_reset_state

Посмотреть исходный код

stateless_reset_state()

stateless_result

Посмотреть исходный код

stateless_result(
    metric_variables
)

stateless_update_state

Посмотреть исходный код

stateless_update_state(
    metric_variables, *args, **kwargs
)

update_state

Посмотреть исходный код

update_state(
    y_true, y_pred, sample_weight=None
)

Накапливает статистику матрицы ошибок.

__call__

Посмотреть исходный код

__call__(
    *args, **kwargs
)

Вызывает self как функцию.