TransformerDecoderLayer

class torch.nn.TransformerDecoderLayer(d_model, nhead, dim_feedforward=2048, dropout=0.1, activation=<function relu>, layer_norm_eps=1e-05, batch_first=False, norm_first=False, bias=True, device=None, dtype=None) [source]

TransformerDecoderLayer состоит из блоков self-attn, multi-head-attn и feedforward сети. Этот стандартный блок декодера основан на статье «Attention Is All You Need». Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, и Illia Polosukhin. 2017. Attention is all you need. В сборнике «Advances in Neural Information Processing Systems», страницы 6000-6010. Пользователи могут изменять или реализовывать его по-другому в своем приложении.

Параметры

• d_model (int) – количество ожидаемых признаков на входе (необходимо).
• nhead (int) – количество головок в модели multiheadattention (необходимо).
• dim_feedforward (int) – размерность модели feedforward сети (по умолчанию 2048).
• dropout (float) – значение дропаута (по умолчанию 0.1).
• activation (Union[str, Callable[[Tensor], Tensor]]) – функция активации промежуточного слоя, может быть строкой (“relu” или “gelu”) или унарной вызываемой функцией. По умолчанию: relu
• layer_norm_eps (float) – значение eps в компонентах слоя нормализации (по умолчанию 1e-5).
• batch_first (bool) – Если True, то входные и выходные тензоры предоставляются как (batch, seq, feature). По умолчанию: False (seq, batch, feature).
• norm_first (bool) – если True, нормализация слоя выполняется до операций self-attention, multihead attention и feedforward, соответственно. В противном случае она выполняется после. По умолчанию: False (после).
• bias (bool) – Если установлено False, слои Linear и LayerNorm не будут учиться добавочному смещению. По умолчанию: True.

Примеры::

>>> decoder_layer = nn.TransformerDecoderLayer(d_model=512, nhead=8)
>>> memory = torch.rand(10, 32, 512)
>>> tgt = torch.rand(20, 32, 512)
>>> out = decoder_layer(tgt, memory)

Alternatively, when batch_first is True:

>>> decoder_layer = nn.TransformerDecoderLayer(d_model=512, nhead=8, batch_first=True)
>>> memory = torch.rand(32, 10, 512)
>>> tgt = torch.rand(32, 20, 512)
>>> out = decoder_layer(tgt, memory)

forward(tgt, memory, tgt_mask=None, memory_mask=None, tgt_key_padding_mask=None, memory_key_padding_mask=None, tgt_is_causal=False, memory_is_causal=False) [source]

Передает входные данные (и маску) через слой декодера.

Параметры

• tgt (Tensor) – последовательность для слоя декодера (необходимо).
• memory (Tensor) – последовательность из последнего слоя энкодера (необходимо).
• tgt_mask (Optional[Tensor]) – маска для последовательности tgt (необязательно).
• memory_mask (Optional[Tensor]) – маска для последовательности memory (необязательно).
• tgt_key_padding_mask (Optional[Tensor]) – маска для ключей tgt по батчам (необязательно).
• memory_key_padding_mask (Optional[Tensor]) – маска для ключей memory по батчам (необязательно).
• tgt_is_causal (bool) – Если указано, применяется маска причинности как tgt mask. По умолчанию: False. Предупреждение: tgt_is_causal указывает, что tgt_mask является маской причинности. Неправильные подсказки могут привести к неправильной работе, включая совместимость с предыдущими и будущими версиями.
• memory_is_causal (bool) – Если указано, применяется маска причинности как memory mask. По умолчанию: False. Предупреждение: memory_is_causal указывает, что memory_mask является маской причинности. Неправильные подсказки могут привести к неправильной работе, включая совместимость с предыдущими и будущими версиями.

Возвращаемое значение

Tensor

Форма:

см. документацию в классе Transformer.