CosineEmbeddingLoss

class torch.nn.modules.loss.CosineEmbeddingLoss(margin=0.0, size_average=None, reduce=None, reduction='mean') [source]

Создаёт функцию потерь, которая вычисляет значение потерь по входным тензорам $x_1$, $x_2$ и метке Tensor $y$ со значениями 1 или -1. Значение ($y=1$) используется для максимизации косинусного сходства двух входов, а значение ($y=-1$) — в противном случае. Обычно это используется для обучения нелинейных эмбеддингов или в обучении с частичным привлечением учителя.

Функция потерь для каждого образца:

$$\text{loss}(x, y) = \begin{cases} 1 - \cos(x_1, x_2), & \text{if } y = 1 \\ \max(0, \cos(x_1, x_2) - \text{margin}), & \text{if } y = -1 \end{cases}$$

Параметры:

• margin (float, необязательно) – Число от $-1$ до $1$; рекомендуется значение от $0$ до $0.5$. Если margin не задан, используется значение по умолчанию $0$.
• size_average (bool, необязательно) – Устарел (см. reduction). По умолчанию значения потерь усредняются по каждому элементу потерь в пакете. Обратите внимание, что для некоторых функций потерь на образец приходится несколько элементов. Если для поля size_average установлено значение False, вместо этого значения потерь суммируются для каждого мини-пакета. Игнорируется, если reduce равно False. Значение по умолчанию: True
• reduce (bool, необязательно) – Устарел (см. reduction). По умолчанию значения потерь усредняются или суммируются по наблюдениям для каждого мини-пакета в зависимости от size_average. Если reduce равно False, вместо этого возвращает значение потерь для каждого элемента пакета и игнорирует size_average. Значение по умолчанию: True
• reduction (str, необязательно) – Определяет способ редукции выходных данных: 'none' | 'mean' | 'sum'. 'none': редукция не применяется, 'mean': сумма выходных данных делится на число элементов в выходных данных, 'sum': выходные данные суммируются. Примечание: size_average и reduce постепенно выводятся из употребления; пока что указание любого из этих аргументов переопределяет reduction. Значение по умолчанию: 'mean'

Форма:

• Вход 1: $(N, D)$ или $(D)$, где N — размер пакета, а D — размерность эмбеддинга.
• Вход 2: $(N, D)$ или $(D)$, той же формы, что и вход 1.
• Целевое значение: $(N)$ или $()$.
• Выходные данные: если reduction равно 'none', форма $(N)$, иначе скаляр.

Примеры

>>> loss = nn.CosineEmbeddingLoss()
>>> input1 = torch.randn(3, 5, requires_grad=True)
>>> input2 = torch.randn(3, 5, requires_grad=True)
>>> target = torch.ones(3)
>>> output = loss(input1, input2, target)
>>> output.backward()

forward(input1, input2, target) [source]

Выполняет прямой проход.

Тип возвращаемого значения:

Tensor