tf.contrib.metrics.cohen_kappa

Вычисляет коэфффициент согласия Коэна.

tf.contrib.metrics.cohen_kappa(
    labels, predictions_idx, num_classes, weights=None, metrics_collections=None,
    updates_collections=None, name=None
)

Коэффициент согласия Коэна — это статистическая величина, которая измеряет согласованность между оценщиками.

Функция cohen_kappa вычисляет матрицу ошибок и создаёт три локальные переменные для вычисления коэффициента согласия Коэна: po, pe_row, и pe_col, которые соответствуют диагональной части, суммам строк и столбцов матрицы ошибок, соответственно. Эта величина в конечном итоге возвращается как kappa, идемпотентная операция, которая вычисляется следующим образом:

pe = (pe_row * pe_col) / N
k = (sum(po) - sum(pe)) / (N - sum(pe))

Для оценки метрики по потоку данных функция создаёт операцию update_op, которая обновляет эти переменные и возвращает kappa. update_op весит каждое предсказание соответствующим значением в weights.

Ожидается, что метки классов начинаются с 0. Например, если num_classes было равно трём, то возможные метки будут [0, 1, 2].

Если weights равно None, веса по умолчанию равны 1. Используйте веса 0, чтобы замаскировать значения.

Примечание: Эквивалентно sklearn.metrics.cohen_kappa_score, но метод пока не поддерживает взвешенную матрицу.