GLU

class torch.nn.GLU(dim=-1) [source]

Применяет функцию активизации «gated linear unit» ${GLU}(a, b)= a \otimes \sigma(b)$, где $a$ — первая половина входных матриц, а $b$ — вторая половина.

Параметры

dim (int) – размерность, по которой следует разделить вход. Значение по умолчанию: -1

Форма:

• Вход: $(\ast_1, N, \ast_2)$, где * означает любое количество дополнительных измерений
• Выход: $(\ast_1, M, \ast_2)$, где $M=N/2$

Примеры:

>>> m = nn.GLU()
>>> input = torch.randn(4, 2)
>>> output = m(input)