torch.nn.functional.glu

torch.nn.functional.glu(input, dim=-1) → Tensor [source]

Единица с управляемым линейным слоем. Вычисляет:

$$\text{GLU}(a, b) = a \otimes \sigma(b)$$

где input разделяется пополам вдоль dim для образования a и b, $\sigma$ — функция сигмоиды, а $\otimes$ — поэлементное произведение матриц.

См. Моделирование языка с помощью управляемых свёрточных сетей.

Параметры

• input (Tensor) — тензор входных данных
• dim (int) — измерение, по которому разделить входные данные. По умолчанию: -1

Возвращаемое значение

Tensor