GLU

class torch.nn.modules.activation.GLU(dim=-1) [source]

Применяет функцию gated linear unit.

${GLU}(a, b)= a \otimes \sigma(b)$, где $a$ — первая половина входных матриц, а $b$ — вторая половина.

Параметры:

dim (int) — измерение, по которому следует разделить входные данные. По умолчанию: -1

Форма:

• Вход: $(\ast_1, N, \ast_2)$, где * означает любое количество дополнительных измерений
• Выход: $(\ast_1, M, \ast_2)$, где $M=N/2$

Примеры:

>>> m = nn.GLU()
>>> input = torch.randn(4, 2)
>>> output = m(input)

extra_repr() [source]

Возвращает дополнительное представление модуля.

Тип возвращаемого значения:

str

forward(input) [source]

Выполняет прямой проход.

Тип возвращаемого значения:

Tensor