TransformerDecoder

class torch.nn.TransformerDecoder(decoder_layer, num_layers, norm=None) [source]

TransformerDecoder — это стек из N слоёв декодера

Параметры

• decoder_layer – экземпляр класса TransformerDecoderLayer() (обязательно).
• num_layers – число подслоёв декодера (обязательно).
• norm – компонент нормализации слоя (необязательно).

Примеры::

>>> decoder_layer = nn.TransformerDecoderLayer(d_model=512, nhead=8)
>>> transformer_decoder = nn.TransformerDecoder(decoder_layer, num_layers=6)
>>> memory = torch.rand(10, 32, 512)
>>> tgt = torch.rand(20, 32, 512)
>>> out = transformer_decoder(tgt, memory)

forward(tgt, memory, tgt_mask=None, memory_mask=None, tgt_key_padding_mask=None, memory_key_padding_mask=None, tgt_is_causal=None, memory_is_causal=False) [source]

Передача входных данных (и маски) через слои декодера по очереди.

Параметры

• tgt (Тензор) – последовательность для декодера (обязательно).
• memory (Тензор) – последовательность из последнего слоя кодера (обязательно).
• tgt_mask (Необязательно[Тензор]) – маска для последовательности tgt (необязательно).
• memory_mask (Необязательно[Тензор]) – маска для последовательности memory (необязательно).
• tgt_key_padding_mask (Необязательно[Тензор]) – маска для ключей tgt по пакету (необязательно).
• memory_key_padding_mask (Необязательно[Тензор]) – маска для ключей memory по пакету (необязательно).
• tgt_is_causal (Необязательно[bool]) – Если задано, применяет каузальную маску как tgt mask. По умолчанию: None; пытается определить каузальную маску. Предупреждение: tgt_is_causal даёт подсказку, что tgt_mask является каузальной маской. Предоставление неверных подсказок может привести к неверному выполнению, включая совместимость вперёд и назад.
• memory_is_causal (bool) – Если задано, применяет каузальную маску как memory mask. По умолчанию: False. Предупреждение: memory_is_causal даёт подсказку, что memory_mask является каузальной маской. Предоставление неверных подсказок может привести к неверному выполнению, включая совместимость вперёд и назад.

Тип возвращаемого значения

Тензор

Форма:

см. документацию в классе Transformer.