torch.nn.functional.glu

torch.nn.functional.glu(input, dim=-1) → Tensor [исходный код]

Ворота́я линейная единица. Вычисляет:

$$\text{GLU}(a, b) = a \otimes \sigma(b)$$

где input делится пополам вдоль dim, образуя a и b, $\sigma$ — это сигмоидная функция, а $\otimes$ — поэлементное произведение матриц.

См. Моделирование языка с помощью свёрточных сетей с вентильным механизмом.

Параметры:

• input (Tensor) – входной тензор
• dim (int) – размерность, по которой разделяется входной тензор. По умолчанию: -1

Тип возвращаемого значения:

Tensor