BCEWithLogitsLoss

class torch.nn.BCEWithLogitsLoss(weight=None, size_average=None, reduce=None, reduction='mean', pos_weight=None) [исходный код]

Эта функция потерь объединяет слой Sigmoid и BCELoss в одном классе. Эта версия численно стабильнее, чем использование обычного Sigmoid с последующим BCELoss, поскольку объединение операций в один слой позволяет воспользоваться приёмом log-sum-exp для численной стабильности.

Функцию потерь без редукции (то есть при reduction, равном 'none') можно описать следующим образом:

$$\ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - w_n \left[ y_n \cdot \log \sigma(x_n) + (1 - y_n) \cdot \log (1 - \sigma(x_n)) \right],$$

где $N$ — размер пакета. Если reduction не равно 'none' (значение по умолчанию — 'mean'), то

$$\ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{if reduction} = \text{`mean';}\\ \operatorname{sum}(L), & \text{if reduction} = \text{`sum'.} \end{cases}$$

Это используется для измерения ошибки реконструкции, например, в автоэнкодере. Обратите внимание, что целевые значения t[i] должны быть числами от 0 до 1.

Можно находить компромисс между полнотой и точностью, добавляя веса положительным примерам. В случае многометочной классификации функцию потерь можно описать следующим образом:

$$\ell_c(x, y) = L_c = \{l_{1,c},\dots,l_{N,c}\}^\top, \quad l_{n,c} = - w_{n,c} \left[ p_c y_{n,c} \cdot \log \sigma(x_{n,c}) + (1 - y_{n,c}) \cdot \log (1 - \sigma(x_{n,c})) \right],$$

где $c$ — номер класса ($c > 1$ для многометочной бинарной классификации, $c = 1$ для однометочной бинарной классификации), $n$ — номер образца в пакете, а $p_c$ — вес положительного ответа для класса $c$.

$p_c > 1$ повышает полноту, $p_c < 1$ повышает точность.

Например, если набор данных содержит 100 положительных и 300 отрицательных примеров одного класса, значение pos_weight для этого класса должно быть равно $\frac{300}{100}=3$. Функция потерь будет рассчитываться так, как если бы набор данных содержал $3\times 100=300$ положительных примеров.

Примеры

>>> target = torch.ones([10, 64], dtype=torch.float32)  # 64 classes, batch size = 10
>>> output = torch.full([10, 64], 1.5)  # A prediction (logit)
>>> pos_weight = torch.ones([64])  # All weights are equal to 1
>>> criterion = torch.nn.BCEWithLogitsLoss(pos_weight=pos_weight)
>>> criterion(output, target)  # -log(sigmoid(1.5))
tensor(0.20...)

В приведённом выше примере элементы тензора pos_weight соответствуют 64 различным классам в сценарии многометочной бинарной классификации. Каждый элемент pos_weight предназначен для настройки функции потерь с учётом дисбаланса между отрицательными и положительными образцами соответствующего класса. Такой подход полезен для наборов данных с разным уровнем дисбаланса классов и позволяет точно учитывать распределение данных в каждом классе при вычислении функции потерь.

Параметры:

• weight (Tensor, необязательный) – вес для ручного масштабирования функции потерь каждого элемента пакета. Размерность weight поддерживает трансляцию к общей форме относительно формы выходных данных (и целевых значений).
• size_average (bool, необязательный) – Устарел (см. reduction). По умолчанию усредняются значения функции потерь для каждого её элемента в пакете. Обратите внимание, что для некоторых функций потерь на образец приходится несколько элементов. Если параметр size_average равен False, вместо этого значения функции потерь суммируются для каждого мини-пакета. Игнорируется, если reduce не равно False. Значение по умолчанию: True
• reduce (bool, необязательный) – Устарел (см. reduction). По умолчанию значения функции потерь усредняются или суммируются по наблюдениям для каждого мини-пакета в зависимости от size_average. Если reduce равно False, вместо этого возвращается значение функции потерь для каждого элемента пакета, а size_average игнорируется. Значение по умолчанию: True
• reduction (str, необязательный) – Определяет редукцию, применяемую к выходным данным: 'none' | 'mean' | 'sum'. 'none': редукция не применяется, 'mean': сумма выходных данных делится на число элементов в них, 'sum': выходные данные суммируются. Примечание: параметры size_average и reduce считаются устаревшими, и пока что указание любого из них переопределяет reduction. Значение по умолчанию: 'mean'
• pos_weight (Tensor, необязательный) – вес положительных примеров, который будет транслирован в соответствии с целевыми значениями. Размер тензора должен совпадать с числом классов по размерности классов. Чтобы получить желаемый результат, внимательно учитывайте правила трансляции PyTorch. Для целевых значений формы [B, C, H, W] (где B — размер пакета) pos_weight формы [B, C, H, W] задаёт разные веса pos_weight для каждого элемента пакета, а формы [C, H, W] — одинаковые веса pos_weight для всего пакета. Чтобы применить один и тот же положительный вес ко всем пространственным измерениям для многоклассовых целевых значений 2D формы [C, H, W], используйте: [C, 1, 1]. Значение по умолчанию: None

Форма:

• Входные данные: $(*)$, где $*$ означает любое число измерений.
• Целевые значения: $(*)$, той же формы, что и входные данные.
• Выходные данные: скаляр. Если reduction равно 'none', то $(*)$, той же формы, что и входные данные.

Примеры

>>> loss = nn.BCEWithLogitsLoss()
>>> input = torch.randn(3, requires_grad=True)
>>> target = torch.empty(3).random_(2)
>>> output = loss(input, target)
>>> output.backward()

forward(input, target) [исходный код]

Выполняет прямой проход.

Тип возвращаемого значения:

Tensor