tf.keras.metrics.AUC

Приближает AUC (площадь под кривой) ROC или PR кривых.

Наследуется от: Metric

tf.keras.metrics.AUC(
    num_thresholds=200,
    curve='ROC',
    summation_method='interpolation',
    name=None,
    dtype=None,
    thresholds=None,
    multi_label=False,
    num_labels=None,
    label_weights=None,
    from_logits=False
)

Используется в блокнотах

AUC (площадь под кривой) ROC (кривая характеристик получателя; по умолчанию) или PR (кривая точность-полнота) кривых — это показатели качества бинарных классификаторов. В отличие от точности и аналогично потерям перекрёстной энтропии, ROC-AUC и PR-AUC оценивают все рабочие точки модели.

Этот класс приближает AUC с помощью суммы Римана. В период накопления метрики предсказания накапливаются в предопределённых по значениям корзинах. AUC вычисляется путём интерполяции средних значений по корзинам. Эти корзины определяют оцениваемые рабочие точки.

Эта метрика создаёт четыре локальных переменные, true_positives, true_negatives, false_positives и false_negatives, которые используются для вычисления AUC. Для дискретизации кривой AUC используется линейно расположенный набор пороговых значений для вычисления пар значений полноты и точности. Таким образом, площадь под кривой ROC вычисляется с помощью высоты значений полноты по отношению к скорости ложноположительных, а площадь под кривой PR вычисляется с помощью высоты значений точности по отношению к полноте.

Это значение в конечном итоге возвращается как auc, идемпотентная операция, которая вычисляет площадь под дискретной кривой точности по отношению к полноте (вычисленных с использованием упомянутых переменных). Переменная num_thresholds управляет степенью дискретизации, при больших значениях количество пороговых значений более точно приближает истинное AUC. Качество приближения может значительно меняться в зависимости от num_thresholds. Параметр thresholds может использоваться для ручного указания пороговых значений, которые более равномерно разделяют предсказания.

Для наилучшего приближения реального AUC, predictions должно быть распределено примерно равномерно в диапазоне [0, 1] (если from_logits=False). Качество приближения AUC может быть плохим, если это не так. Установка summation_method в «минимизацию» или «максимизацию» может помочь оценить ошибку приближения, предоставив нижнюю или верхнюю оценку AUC.

Если sample_weight равно None, веса по умолчанию равны 1. Используйте sample_weight значения 0, чтобы маскировать значения.

Пример:

m = keras.metrics.AUC(num_thresholds=3)
m.update_state([0, 0, 1, 1], [0, 0.5, 0.3, 0.9])
# threshold values are [0 - 1e-7, 0.5, 1 + 1e-7]
# tp = [2, 1, 0], fp = [2, 0, 0], fn = [0, 1, 2], tn = [0, 2, 2]
# tp_rate = recall = [1, 0.5, 0], fp_rate = [1, 0, 0]
# auc = ((((1 + 0.5) / 2) * (1 - 0)) + (((0.5 + 0) / 2) * (0 - 0)))
#     = 0.75
m.result()
0.75

m.reset_state()
m.update_state([0, 0, 1, 1], [0, 0.5, 0.3, 0.9],
               sample_weight=[1, 0, 0, 1])
m.result()
1.0

Использование с API compile():

# Reports the AUC of a model outputting a probability.
model.compile(optimizer='sgd',
              loss=keras.losses.BinaryCrossentropy(),
              metrics=[keras.metrics.AUC()])

# Reports the AUC of a model outputting a logit.
model.compile(optimizer='sgd',
              loss=keras.losses.BinaryCrossentropy(from_logits=True),
              metrics=[keras.metrics.AUC(from_logits=True)])

Методы

add_variable

Просмотреть исходный код

add_variable(
    shape, initializer, dtype=None, aggregation='sum', name=None
)

add_weight

Просмотреть исходный код

add_weight(
    shape=(), initializer=None, dtype=None, name=None
)

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

get_config

Просмотреть исходный код

get_config()

Возвращает сериализуемую конфигурацию метрики.

interpolate_pr_auc

Просмотреть исходный код

interpolate_pr_auc()

Формула интерполяции, вдохновлённая разделом 4 из Davis & Goadrich 2006.

https://www.biostat.wisc.edu/~page/rocpr.pdf

Обратите внимание, что здесь мы выводим и используем замкнутую формулу, отсутствующую в статье, следующим образом:

Precision = TP / (TP + FP) = TP / P

Моделью всех TP (истинно положительных), FP (ложно положительных) и их суммы P = TP + FP (предсказанные положительные) как линейно изменяющихся в каждом интервале [A, B] между последовательными пороговыми значениями, мы получаем

Precision slope = dTP / dP
                = (TP_B - TP_A) / (P_B - P_A)
                = (TP - TP_A) / (P - P_A)
Precision = (TP_A + slope * (P - P_A)) / P

Площадь внутри интервала равна (наклон / общий_вес_положительных) умножить на

int_A^B{Precision.dP} = int_A^B{(TP_A + slope * (P - P_A)) * dP / P}
int_A^B{Precision.dP} = int_A^B{slope * dP + intercept * dP / P}

где пересечение = TP_A - наклон * P_A = TP_B - наклон * P_B, что приводит к

int_A^B{Precision.dP} = TP_B - TP_A + intercept * log(P_B / P_A)

Возвращая множитель (наклон / общий_вес_положительных), который мы отложили, мы получаем

slope * [dTP + intercept *  log(P_B / P_A)] / total_pos_weight

где dTP == TP_B - TP_A.

Обратите внимание, что при P_A == 0 вышеупомянутое вычисление упрощается в

int_A^B{Precision.dTP} = int_A^B{slope * dTP}
                       = slope * (TP_B - TP_A)

что на самом деле эквивалентно присвоению постоянной точности на протяжении всей первой корзины, имеющей >0 истинных положительных.

reset_state

Просмотреть исходный код

reset_state()

Сбросьте все переменные состояния метрики.

Эта функция вызывается между эпохами/шагами, когда метрика оценивается во время обучения.

result

Просмотреть исходный код

result()

Вычислить текущее значение метрики.

stateless_reset_state

Просмотреть исходный код

stateless_reset_state()

stateless_result

Просмотреть исходный код

stateless_result(
    metric_variables
)

stateless_update_state

Просмотреть исходный код

stateless_update_state(
    metric_variables, *args, **kwargs
)

update_state

Просмотреть исходный код

update_state(
    y_true, y_pred, sample_weight=None
)

Накапливает статистику матрицы неточностей.

__call__

Просмотреть исходный код

__call__(
    *args, **kwargs
)

Вызов self как функции.