GLU

class torch.nn.GLU(dim=-1) [исходный код]

Применяет функцию gated linear unit.

${GLU}(a, b)= a \otimes \sigma(b)$, где $a$ — первая половина входных матриц, а $b$ — вторая половина.

Параметры:

dim (int) – измерение, по которому следует разделить входные данные. По умолчанию: -1

Форма:

• Входные данные: $(\ast_1, N, \ast_2)$, где * означает любое количество дополнительных измерений
• Выходные данные: $(\ast_1, M, \ast_2)$, где $M=N/2$

Примеры:

>>> m = nn.GLU()
>>> input = torch.randn(4, 2)
>>> output = m(input)

extra_repr() [исходный код]

Возвращает дополнительное представление модуля.

Тип возвращаемого значения:

str

forward(input) [исходный код]

Выполняет прямой проход.

Тип возвращаемого значения:

Tensor