BCELoss

class torch.nn.BCELoss(weight=None, size_average=None, reduce=None, reduction='mean') [source]

Создаёт критерий, который измеряет бинарную кросс-энтропию между целевыми и входными вероятностями:

Несведённая (т.е. с reduction установленным в 'none') функция потерь может быть описана как:

$$\ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - w_n \left[ y_n \cdot \log x_n + (1 - y_n) \cdot \log (1 - x_n) \right],$$

где $N$ — размер пакета. Если reduction не 'none' (по умолчанию 'mean'), то

$$\ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{if reduction} = \text{`mean';}\\ \operatorname{sum}(L), & \text{if reduction} = \text{`sum'.} \end{cases}$$

Это используется для измерения ошибки реконструкции, например, в автоэнкодере. Обратите внимание, что целевые значения $y$ должны быть числами от 0 до 1.

Заметим, что если $x_n$ равно либо 0, либо 1, одно из логарифмических слагаемых в уравнении функции потерь будет математически неопределённым. PyTorch выбирает $\log (0) = -\infty$, так как $\lim_{x\to 0} \log (x) = -\infty$.

Однако бесконечное значение функции потерь нежелательно по нескольким причинам.

Во-первых, если либо $y_n = 0$ или $(1 - y_n) = 0$, то мы бы умножали 0 на бесконечность. Во-вторых, если у нас есть бесконечное значение потерь, то у нас также будет бесконечное слагаемое в нашем градиенте, так как $\lim_{x\to 0} \frac{d}{dx} \log (x) = \infty$. Это сделало бы обратное распространение ошибки BCELoss нелинейным по отношению к $x_n$, и использовать её для задач линейной регрессии было бы затруднительно.

Нашим решением является ограничение выходов логарифмической функции BCELoss значениями, не меньшими -100. Таким образом, мы всегда можем иметь конечное значение потерь и линейное обратное распространение ошибки.

Параметры:

• weight (Tensor, необязательно) – ручное перемасштабирование весов, присваиваемых к потерям каждого элемента пакета. Если задано, должно быть тензором размера nbatch.
• size_average (bool, необязательно) – Устарело (см. reduction). По умолчанию потери усредняются по каждому элементу потерь в пакете. Обратите внимание, что для некоторых потерь может быть несколько элементов на образец. Если поле size_average установлено в False, потери вместо этого суммируются для каждого минипакета. Игнорируется, когда reduce равно False. Значение по умолчанию: True
• reduce (bool, необязательно) – Устарело (см. reduction). По умолчанию потери усредняются или суммируются по наблюдениям для каждого минипакета в зависимости от size_average. Когда reduce равно False, возвращает потери за элемент пакета и игнорирует size_average. Значение по умолчанию: True
• reduction (str, необязательно) – Указывает операцию приведения, которую нужно применить к выводу: 'none' | 'mean' | 'sum'. 'none': приведение не применяется, 'mean': сумма вывода делится на количество элементов в выводе, 'sum': вывод суммируется. Примечание: size_average и reduce в процессе устаревания, и в данный момент использование этих аргументов переопределяет reduction. Значение по умолчанию: 'mean'

Форма:

• Вход: $(*)$, где $*$ обозначает любое количество измерений.
• Цель: $(*)$, та же форма, что и вход.
• Вывод: скаляр. Если reduction равно 'none', то $(*)$, та же форма, что и вход.

Примеры:

>>> m = nn.Sigmoid()
>>> loss = nn.BCELoss()
>>> input = torch.randn(3, requires_grad=True)
>>> target = torch.empty(3).random_(2)
>>> output = loss(m(input), target)
>>> output.backward()