cohen_kappa_score

sklearn.metrics.cohen_kappa_score(y1, y2, *, labels=None, weights=None, sample_weight=None)[source]

Вычисление коэффициента согласия Коэна: статистическая мера межрейтерного согласия.

Данная функция вычисляет коэффициент согласия Коэна [1], значение, которое выражает уровень согласия между двумя оценщиками в задаче классификации. Он определяется как

\[\kappa = (p_o - p_e) / (1 - p_e)\]

где \(p_o\) — эмпирическая вероятность согласия по метке, присвоенной любому образцу (доля наблюдаемого согласия), а \(p_e\) — ожидаемое согласие при случайном присвоении меток обоими оценщиками. \(p_e\) оценивается с помощью эмпирического априорного распределения по классам меток для каждого оценщика [2].

Подробнее см. в Руководстве пользователя.

Параметры:

y1array-like of shape (n_samples,)

Метки, присвоенные первым оценщиком.

y2array-like of shape (n_samples,)

Метки, присвоенные вторым оценщиком. Статистика Коэна симметрична, поэтому перестановка y1 и y2 не меняет ее значения.

labelsarray-like of shape (n_classes,), default=None

Список меток для индексации матрицы. Может использоваться для выбора подмножества меток. Если None, используются все метки, которые появляются хотя бы один раз в y1 или y2.

weights{‘linear’, ‘quadratic’}, default=None

Тип взвешивания для расчета оценки. None означает отсутствие взвешивания; “linear” означает линейное взвешивание; “quadratic” означает квадратичное взвешивание.

sample_weightarray-like of shape (n_samples,), default=None

Веса образцов.

Возвращает:

kappafloat

Статистика Коэна, значение от -1 до 1. Максимальное значение соответствует полному согласию; нулевое или меньше — случайному согласию.

Ссылки

[1]

J. Cohen (1960). “A coefficient of agreement for nominal scales”. Educational and Psychological Measurement 20(1):37-46.

[2]

R. Artstein and M. Poesio (2008). “Inter-coder agreement for computational linguistics”. Computational Linguistics 34(4):555-596.

[3]

Статья в Википедии о коэффициенте согласия Коэна.

Примеры

>>> from sklearn.metrics import cohen_kappa_score
>>> y1 = ["negative", "positive", "negative", "neutral", "positive"]
>>> y2 = ["negative", "positive", "negative", "neutral", "negative"]
>>> cohen_kappa_score(y1, y2)
np.float64(0.6875)