tf.keras.metrics.AUC

Приближает AUC (площадь под кривой) ROC- или PR-кривых.

Наследуется от: Metric, Layer, Module

tf.keras.metrics.AUC(
    num_thresholds=200,
    curve='ROC',
    summation_method='interpolation',
    name=None,
    dtype=None,
    thresholds=None,
    multi_label=False,
    num_labels=None,
    label_weights=None,
    from_logits=False
)

AUC (площадь под кривой) ROC- (по умолчанию) или PR-кривых (точность-полнота) являются показателями качества бинарных классификаторов. В отличие от точности и аналогично потерям перекрестной энтропии, ROC-AUC и PR-AUC оценивают все рабочие точки модели.

Этот класс приближает AUC, используя сумму Римана. Во время накопления метрики предсказания накапливаются в предопределённых корзинах по значениям. AUC затем вычисляется путём интерполяции средних значений по корзинам. Эти корзины определяют оцениваемые рабочие точки.

Эта метрика создаёт четыре локальных переменных, true_positives, true_negatives, false_positives и false_negatives, которые используются для вычисления AUC. Для дискретизации кривой AUC используется линейно распределённый набор пороговых значений для вычисления пар значений полноты и точности. Таким образом, площадь под ROC-кривой вычисляется с помощью высоты значений полноты по отношению к доле ложноположительных результатов, а площадь под PR-кривой вычисляется с помощью высоты значений точности по отношению к полноте.

Это значение в конечном итоге возвращается как auc, идемпотентная операция, которая вычисляет площадь под дискретизированной кривой точности по отношению к полноте (вычисленной с использованием упомянутых выше переменных). Переменная num_thresholds контролирует степень дискретизации, при большем количестве пороговых значений приближение к истинному AUC становится более точным. Качество приближения может существенно варьироваться в зависимости от num_thresholds. Параметр thresholds может использоваться для ручного задания пороговых значений, которые более равномерно распределяют предсказания.

Для лучшего приближения реального AUC, predictions должно быть распределено примерно равномерно в диапазоне 0, 1. Качество приближения AUC может быть низким, если это не так. Установка summation_method в «minoring» или «majoring» может помочь оценить ошибку приближения, предоставив оценку снизу или сверху AUC.

Если sample_weight равно None, веса по умолчанию равны 1. Используйте sample_weight равное 0, чтобы замаскировать значения.

Использование автономно:

m = tf.keras.metrics.AUC(num_thresholds=3)
m.update_state([0, 0, 1, 1], [0, 0.5, 0.3, 0.9])
# threshold values are [0 - 1e-7, 0.5, 1 + 1e-7]
# tp = [2, 1, 0], fp = [2, 0, 0], fn = [0, 1, 2], tn = [0, 2, 2]
# tp_rate = recall = [1, 0.5, 0], fp_rate = [1, 0, 0]
# auc = ((((1+0.5)/2)*(1-0)) + (((0.5+0)/2)*(0-0))) = 0.75
m.result().numpy()
0.75

m.reset_state()
m.update_state([0, 0, 1, 1], [0, 0.5, 0.3, 0.9],
               sample_weight=[1, 0, 0, 1])
m.result().numpy()
1.0

Использование с API compile():

# Reports the AUC of a model outputting a probability.
model.compile(optimizer='sgd',
              loss=tf.keras.losses.BinaryCrossentropy(),
              metrics=[tf.keras.metrics.AUC()])

# Reports the AUC of a model outputting a logit.
model.compile(optimizer='sgd',
              loss=tf.keras.losses.BinaryCrossentropy(from_logits=True),
              metrics=[tf.keras.metrics.AUC(from_logits=True)])

Методы

interpolate_pr_auc

Просмотреть исходный код

interpolate_pr_auc()

Формула интерполяции, вдохновленная разделом 4 Davis & Goadrich 2006.

https://www.biostat.wisc.edu/~page/rocpr.pdf

Обратите внимание, что мы здесь выводим и используем закрытую формулу, которая отсутствует в статье, следующим образом:

Точность = ИП / (ИП + ЛП) = ИП / П

Моделируя все ИП (истинно положительные), ЛП (ложноположительные) и их сумму П = ИП + ЛП (предсказанные положительные) как линейно изменяющиеся в каждом интервале [A, B] между последовательными пороговыми значениями, мы получаем

Наклон точности = dИП / dП = (ИП_B - ИП_A) / (П_B - П_A) = (ИП - ИП_A) / (П - П_A) Точность = (ИП_A + наклон * (П - П_A)) / П

Площадь в интервале равна (наклон / общий_вес_положительных) раз

int_A^B{Точность.dП} = int_A^B{(ИП_A + наклон * (П - П_A)) * dП / П} int_A^B{Точность.dП} = int_A^B{наклон * dП + перехват * dП / П}

где перехват = ИП_A - наклон * П_A = ИП_B - наклон * П_B, что приводит к

int_A^B{Точность.dП} = ИП_B - ИП_A + перехват * log(П_B / П_A)

Возвращая множитель (наклон / общий_вес_положительных), который мы оставили в стороне, мы получим

наклон * [dИП + перехват * log(П_B / П_A)] / общий_вес_положительных

где dИП == ИП_B - ИП_A.

Обратите внимание, что когда П_A == 0, вышеуказанное вычисление упрощается до

int_A^B{Точность.dИП} = int_A^B{наклон * dИП} = наклон * (ИП_B - ИП_A)

что фактически эквивалентно присвоению постоянной точности на протяжении всей первой корзины с >0 истинно положительными.

merge_state

Просмотреть исходный код

merge_state(
    metrics
)

Объединяет состояние из одной или нескольких метрик.

Этот метод может использоваться распределёнными системами для объединения состояния, вычисленного различными экземплярами метрики. Как правило, состояние будет храниться в виде весов метрики. Например, метрика tf.keras.metrics.Mean содержит список из двух значений веса: общий и счёт. Если было два экземпляра tf.keras.metrics.Accuracy, каждый из которых независимо аккумулировал частичное состояние для расчёта общей точности, эти два состояния метрик можно объединить следующим образом:

m1 = tf.keras.metrics.Accuracy()
_ = m1.update_state([[1], [2]], [[0], [2]])

m2 = tf.keras.metrics.Accuracy()
_ = m2.update_state([[3], [4]], [[3], [4]])

m2.merge_state([m1])
m2.result().numpy()
0.75

reset_state

Просмотреть исходный код

reset_state()

Сбрасывает все переменные состояния метрики.

Эта функция вызывается между эпохами/шагами, когда метрика оценивается во время обучения.

result

Просмотреть исходный код

result()

Вычисляет и возвращает скалярное значение тензора метрики или словарь скаляров.

Вычисление результата — это идемпотентная операция, которая просто вычисляет значение метрики с использованием переменных состояния.

update_state

Просмотреть исходный код

update_state(
    y_true, y_pred, sample_weight=None
)

Накапливает статистику матрицы ошибок.