torch.nn.functional.cross_entropy

torch.nn.functional.cross_entropy(input, target, weight=None, size_average=None, ignore_index=- 100, reduce=None, reduction='mean', label_smoothing=0.0) [source]

Этот критерий вычисляет потерю кросс-энтропии между входными лог-вероятностями и целевым значением.

Подробности см. в CrossEntropyLoss.

Параметры:

• input (Тензор) – Предсказанные ненормализованные лог-вероятности; см. раздел «Форма» для поддержки форм.
• target (Тензор) – Индексы истинных классов или вероятности классов; см. раздел «Форма» для поддержки форм.
• weight (Тензор, необязательно) – весовое значение, вручную задаваемое каждому классу. Если указан, должен быть тензором размера C
• size_average (bool, необязательно) – Устаревший параметр (см. reduction). По умолчанию потери усредняются по каждому элементу потерь в батче. Обратите внимание, что для некоторых потерь может быть несколько элементов на образец. Если поле size_average установлено в False, потери вместо этого суммируются для каждого минибатча. Игнорируется, когда reduce — False. По умолчанию: True
• ignore_index (int, необязательно) – Указывает целевое значение, которое игнорируется и не вносит вклад в градиент. Когда size_average равно True, потеря усредняется по неигнорируемым целям. Обратите внимание, что ignore_index применимо только когда target содержит индексы классов. По умолчанию: -100
• reduce (bool, необязательно) – Устаревший параметр (см. reduction). По умолчанию потери усредняются или суммируются по наблюдениям для каждого минибатча в зависимости от size_average. Когда reduce равно False, возвращает потерю на элемент батча и игнорирует size_average. По умолчанию: True
• reduction (строка, необязательно) – Указывает операцию суммирования, которая будет применена к выходу: 'none' | 'mean' | 'sum'. 'none': никакое суммирование не будет применено, 'mean': сумма вывода будет разделена на количество элементов вывода, 'sum': вывод будет просуммирован. Примечание: size_average и reduce в процессе устаревания, и пока что указание любого из этих двух аргументов переопределит reduction. По умолчанию: 'mean'
• label_smoothing (float, необязательно) – Число с плавающей точкой в диапазоне [0.0, 1.0]. Указывает величину сглаживания при вычислении потери, где 0.0 означает отсутствие сглаживания. Цели превратятся в смесь исходной истинной метки и равномерного распределения, как описано в Rethinking the Inception Architecture for Computer Vision. По умолчанию: $0.0$.

Тип возвращаемого значения:

Тензор

Форма:

• Вход: Форма $(C)$, $(N, C)$ или $(N, C, d_1, d_2, ..., d_K)$ в случае K-мерной потери.
• Целевое значение: Если содержат индексы классов, форма $()$, $(N)$ или $(N, d_1, d_2, ..., d_K)$ в случае K-мерной потери, где каждое значение должно быть в диапазоне $[0, C)$. Если содержит вероятности классов, форма совпадает с формой входа, а каждое значение должно быть в диапазоне $[0, 1]$.

где:

$$\begin{aligned} C ={} & \text{количество классов} \\ N ={} & \text{размер батча} \\ \end{aligned}$$

Примеры:

>>> # Example of target with class indices
>>> input = torch.randn(3, 5, requires_grad=True)
>>> target = torch.randint(5, (3,), dtype=torch.int64)
>>> loss = F.cross_entropy(input, target)
>>> loss.backward()
>>>
>>> # Example of target with class probabilities
>>> input = torch.randn(3, 5, requires_grad=True)
>>> target = torch.randn(3, 5).softmax(dim=1)
>>> loss = F.cross_entropy(input, target)
>>> loss.backward()