torch.nn.functional.glu

torch.nn.functional.glu(input, dim=- 1) → Tensor [source]

Функция «gated linear unit». Вычисляет:

$$\text{GLU}(a, b) = a \otimes \sigma(b)$$

где input делится пополам вдоль dim для формирования a и b, $\sigma$ — функция сигмоиды, а $\otimes$ — поэлементное произведение матриц.

См. Language Modeling with Gated Convolutional Networks.

Параметры:

• input (Tensor) – входной тензор
• dim (int) – измерение для разделения входных данных. По умолчанию: -1

Тип возвращаемого значения:

Tensor