Слой декодера Transformer

class torch.nn.TransformerDecoderLayer(d_model, nhead, dim_feedforward=2048, dropout=0.1, activation=<function relu>, layer_norm_eps=1e-05, batch_first=False, norm_first=False, device=None, dtype=None) [source]

Слой декодера Transformer состоит из блоков самовнимания, многоголового внимания и свёрточной нейронной сети. Этот стандартный слой декодера основан на статье «Внимание — всё, что вам нужно». Ашиш Васвани, Ноам Шазер, Ники Пармар, Якоб Усзорейт, Ллион Джонс, Айден Н. Гомес, Лукаш Кайзер и Илья Полосухин. 2017. Внимание — всё, что вам нужно. В «Справочнике по обработке информации с использованием нейронных сетей», страницы 6000-6010. Пользователи могут изменить или реализовать его по-другому в процессе применения.

Параметры:

• d_model (int) – количество ожидаемых признаков на входе (необходимо).
• nhead (int) – количество головок в многоголовых моделях внимания (необходимо).
• dim_feedforward (int) – размерность модели свёрточной нейронной сети (по умолчанию = 2048).
• dropout (float) – значение дропаута (по умолчанию = 0.1).
• activation (Union[str, Callable[[Tensor], Tensor]]) – функция активации промежуточного слоя, может быть строкой (“relu” или “gelu”) или унарной вызываемой функцией. По умолчанию: relu
• layer_norm_eps (float) – значение eps в компонентах слоя нормализации (по умолчанию = 1e-5).
• batch_first (bool) – Если True, то входные и выходные тензоры предоставляются как (batch, seq, feature). По умолчанию: False (seq, batch, feature).
• norm_first (bool) – если True, нормализация слоя выполняется до операций самовнимания, многоголового внимания и свёрточной сети соответственно. В противном случае она выполняется после. По умолчанию: False (после).

Примеры::

>>> decoder_layer = nn.TransformerDecoderLayer(d_model=512, nhead=8)
>>> memory = torch.rand(10, 32, 512)
>>> tgt = torch.rand(20, 32, 512)
>>> out = decoder_layer(tgt, memory)

Alternatively, when batch_first is True:

>>> decoder_layer = nn.TransformerDecoderLayer(d_model=512, nhead=8, batch_first=True)
>>> memory = torch.rand(32, 10, 512)
>>> tgt = torch.rand(32, 20, 512)
>>> out = decoder_layer(tgt, memory)

forward(tgt, memory, tgt_mask=None, memory_mask=None, tgt_key_padding_mask=None, memory_key_padding_mask=None) [source]

Передача входных данных (и маски) через слой декодера.

Параметры:

• tgt (Tensor) – последовательность для слоя декодера (необходимо).
• memory (Tensor) – последовательность из последнего слоя кодера (необходимо).
• tgt_mask (Optional[Tensor]) – маска для последовательности tgt (необязательно).
• memory_mask (Optional[Tensor]) – маска для последовательности memory (необязательно).
• tgt_key_padding_mask (Optional[Tensor]) – маска для ключей tgt по пакету (необязательно).
• memory_key_padding_mask (Optional[Tensor]) – маска для ключей memory по пакету (необязательно).

Тип возвращаемого значения:

Tensor

Форма:

см. документацию в классе Transformer.