tf.keras.metrics.AUC

Вычисляет приблизительное значение AUC (Площадь под кривой) с помощью суммы Римана.

Наследуется от: Metric

tf.keras.metrics.AUC(
    num_thresholds=200, curve='ROC', summation_method='interpolation', name=None,
    dtype=None, thresholds=None, multi_label=False, label_weights=None
)

Эта метрика создает четыре локальных переменных, true_positives, true_negatives, false_positives и false_negatives, которые используются для вычисления AUC. Для дискретизации кривой AUC используется набор линейно расположенных пороговых значений для вычисления пар значений отзыва и точности. Таким образом, площадь под ROC-кривой вычисляется по высоте значений отзыва по отношению к скорости ложных срабатываний, а площадь под кривой точности-отзыва вычисляется по высоте значений точности по отношению к отзыву.

Это значение в конечном итоге возвращается как auc, идемпотентная операция, которая вычисляет площадь под дискретизированной кривой точности по отношению к отзыву (вычисленной с использованием перечисленных выше переменных). Переменная num_thresholds контролирует степень дискретизации, при этом большее количество пороговых значений более точно приближает истинное значение AUC. Качество приближения может существенно меняться в зависимости от num_thresholds. Параметр thresholds можно использовать для ручного задания пороговых значений, которые более равномерно разбивают предсказания.

Для наилучших результатов, predictions должно быть распределено примерно равномерно в диапазоне [0, 1] и не должно иметь пиков около 0 или 1. Качество приближения AUC может быть плохим, если это не так. Установка summation_method в 'minoring' или 'majoring' может помочь оценить ошибку приближения, предоставив оценку снизу или сверху значения AUC.

Если sample_weight является None, веса по умолчанию равны 1. Используйте вес sample_weight 0 для маскирования значений.

Использование в автономном режиме:

m = tf.keras.metrics.AUC(num_thresholds=3)
m.update_state([0, 0, 1, 1], [0, 0.5, 0.3, 0.9])
# threshold values are [0 - 1e-7, 0.5, 1 + 1e-7]
# tp = [2, 1, 0], fp = [2, 0, 0], fn = [0, 1, 2], tn = [0, 2, 2]
# recall = [1, 0.5, 0], fp_rate = [1, 0, 0]
# auc = ((((1+0.5)/2)*(1-0))+ (((0.5+0)/2)*(0-0))) = 0.75
m.result().numpy()
0.75

m.reset_states()
m.update_state([0, 0, 1, 1], [0, 0.5, 0.3, 0.9],
               sample_weight=[1, 0, 0, 1])
m.result().numpy()
1.0

Использование с API compile():

model.compile(optimizer='sgd', loss='mse', metrics=[tf.keras.metrics.AUC()])

Методы

interpolate_pr_auc

Просмотреть исходный код

interpolate_pr_auc()

Формула интерполяции, вдохновленная разделом 4 Davis & Goadrich 2006.

https://www.biostat.wisc.edu/~page/rocpr.pdf

Обратите внимание, что здесь мы выводим и используем замкнутую формулу, отсутствующую в статье, следующим образом:

Точность = ИП / (ИП + ЛС) = ИП / П

Моделируя все ИП (истинные положительные), ЛС (ложные срабатывания) и их сумму П = ИП + ЛС (предсказанные положительные) как линейно изменяющиеся в каждом интервале [A, B] между последовательными пороговыми значениями, мы получаем

Наклон точности = dИП / dП = (ИП_В - ИП_А) / (П_В - П_А) = (ИП - ИП_А) / (П - П_А) Точность = (ИП_А + наклон * (П - П_А)) / П

Площадь в интервале равна (наклон / общий_вес_положительных) умноженному на

int_A^B{Точность.dП} = int_A^B{(ИП_А + наклон * (П - П_А)) * dП / П} int_A^B{Точность.dП} = int_A^B{наклон * dП + перехват * dП / П}

где перехват = ИП_А - наклон * П_А = ИП_В - наклон * П_В, что приводит к

int_A^B{Точность.dП} = ИП_В - ИП_А + перехват * log(П_В / П_А)

Вернув множитель (наклон / общий_вес_положительных), который мы оставили в стороне, мы получаем

наклон * [dИП + перехват * log(П_В / П_А)] / общий_вес_положительных

где dИП == ИП_В - ИП_А.

Обратите внимание, что когда П_А == 0, приведенное выше вычисление упрощается до

int_A^B{Точность.dИП} = int_A^B{наклон * dИП} = наклон * (ИП_В - ИП_А)

что фактически эквивалентно присвоению постоянной точности в течение первого интервала, имеющего >0 истинных положительных.

reset_states

Просмотреть исходный код

reset_states()

Сбрасывает все переменные состояния метрики.

Эта функция вызывается между эпохами/шагами, когда метрика оценивается во время обучения.

result

Просмотреть исходный код

result()

Вычисляет и возвращает тензор значения метрики.

Вычисление результата — это идемпотентная операция, которая просто вычисляет значение метрики, используя переменные состояния.

update_state

Просмотреть исходный код

update_state(
    y_true, y_pred, sample_weight=None
)

Накапливает статистику матрицы неточностей.