tf.keras.losses.CategoricalFocalCrossentropy

Вычисляет потерю сбалансированной по альфа фокальной кросс-энтропии.

Наследуется от: Loss

tf.keras.losses.CategoricalFocalCrossentropy(
    alpha=0.25,
    gamma=2.0,
    from_logits=False,
    label_smoothing=0.0,
    axis=-1,
    reduction='sum_over_batch_size',
    name='categorical_focal_crossentropy'
)

Используйте эту функцию потерь кросс-энтропии, когда есть две или более классов меток и если вы хотите обрабатывать несбалансированные классы, не используя class_weights. Мы ожидаем, что метки будут предоставлены в one_hot представлении.

Согласно Lin et al., 2018, это помогает применять фокальный множитель для снижения важности лёгких примеров и уделить больше внимания сложным примерам. Общая формула для фокальной потери (FL) следующая:

FL(p_t) = (1 - p_t) ** gamma * log(p_t)

где p_t определяется следующим образом: p_t = output if y_true == 1, else 1 - output

(1 - p_t) ** gamma — это modulating_factor, где gamma — параметр фокусировки. Когда gamma = 0, нет фокального эффекта на кросс-энтропию. gamma плавно уменьшает важность простых примеров.

Авторы используют альфа-сбалансированную разновидность фокальной потери (FL) в статье: FL(p_t) = -alpha * (1 - p_t) ** gamma * log(p_t)

где alpha — множитель весов для классов. Если alpha = 1, потеря не сможет должным образом обработать несбалансированные классы, так как все классы будут иметь одинаковый вес. Это может быть константа или список констант. Если alpha — список, он должен иметь такую же длину, как и количество классов.

Вышеприведённая формула может быть обобщена до: FL(p_t) = alpha * (1 - p_t) ** gamma * CrossEntropy(y_true, y_pred)

где минус происходит от CrossEntropy(y_true, y_pred) (CE).

Распространение этого на многоклассовый случай очевидно: FL(p_t) = alpha * (1 - p_t) ** gamma * CategoricalCE(y_true, y_pred)

В фрагменте кода ниже есть num_classes значений с плавающей точкой на пример. Форма как y_pred, так и y_true равна (batch_size, num_classes).

Примеры:

Использование по отдельности:

y_true = [[0., 1., 0.], [0., 0., 1.]]
y_pred = [[0.05, 0.95, 0], [0.1, 0.8, 0.1]]
# Using 'auto'/'sum_over_batch_size' reduction type.
cce = keras.losses.CategoricalFocalCrossentropy()
cce(y_true, y_pred)
0.23315276

# Calling with 'sample_weight'.
cce(y_true, y_pred, sample_weight=np.array([0.3, 0.7]))
0.1632

# Using 'sum' reduction type.
cce = keras.losses.CategoricalFocalCrossentropy(
    reduction="sum")
cce(y_true, y_pred)
0.46631

# Using 'none' reduction type.
cce = keras.losses.CategoricalFocalCrossentropy(
    reduction=None)
cce(y_true, y_pred)
array([3.2058331e-05, 4.6627346e-01], dtype=float32)

Использование с API compile():

model.compile(optimizer='adam',
              loss=keras.losses.CategoricalFocalCrossentropy())

Методы

call

Посмотреть исходный код

call(
    y_true, y_pred
)

from_config

Посмотреть исходный код

@classmethod
from_config(
    config
)

get_config

Посмотреть исходный код

get_config()

__call__

Посмотреть исходный код

__call__(
    y_true, y_pred, sample_weight=None
)

Вызов self как функции.