TransformerDecoderLayer

class torch.nn.TransformerDecoderLayer(d_model, nhead, dim_feedforward=2048, dropout=0.1, activation=<function relu>, layer_norm_eps=1e-05, batch_first=False, norm_first=False, bias=True, device=None, dtype=None) [исходный код]

TransformerDecoderLayer состоит из слоя self-attention, многоголового attention и нейронной сети прямого распространения.

Этот TransformerDecoderLayer реализует исходную архитектуру, описанную в статье Attention Is All You Need. Этот слой предназначен для использования в качестве эталонной реализации, помогающей понять базовые принципы, поэтому его возможности ограничены по сравнению с более новыми архитектурами Transformer. Учитывая стремительное развитие архитектур на основе Transformer, рекомендуем изучить этот учебник, чтобы создавать эффективные слои из базовых блоков в core или использовать библиотеки более высокого уровня из экосистемы PyTorch.

Параметры:

• d_model (int) – количество ожидаемых признаков на входе (обязательный параметр).
• nhead (int) – количество голов в моделях с многоголовым attention (обязательный параметр).
• dim_feedforward (int) – размерность модели нейронной сети прямого распространения (по умолчанию — 2048).
• dropout (float) – значение dropout (по умолчанию — 0.1).
• activation (str | Callable[[Tensor], Tensor]) – функция активации промежуточного слоя; может быть строкой («relu» или «gelu») или унарной вызываемой функцией. По умолчанию: relu
• layer_norm_eps (float) – значение eps в компонентах нормализации слоя (по умолчанию — 1e-5).
• batch_first (bool) – Если True, входные и выходные тензоры передаются в формате (batch, seq, feature). По умолчанию: False (seq, batch, feature).
• norm_first (bool) – если True, нормализация слоя выполняется до операций self-attention, многоголового attention и прямого распространения соответственно. В противном случае она выполняется после них. По умолчанию: False (после).
• bias (bool) – Если задано значение False, слои Linear и LayerNorm не будут обучать аддитивное смещение. По умолчанию: True.

Примеры

>>> decoder_layer = nn.TransformerDecoderLayer(d_model=512, nhead=8)
>>> memory = torch.rand(10, 32, 512)
>>> tgt = torch.rand(20, 32, 512)
>>> out = decoder_layer(tgt, memory)

Alternatively, when batch_first is True:

>>> decoder_layer = nn.TransformerDecoderLayer(
...     d_model=512, nhead=8, batch_first=True
... )
>>> memory = torch.rand(32, 10, 512)
>>> tgt = torch.rand(32, 20, 512)
>>> out = decoder_layer(tgt, memory)

forward(tgt, memory, tgt_mask=None, memory_mask=None, tgt_key_padding_mask=None, memory_key_padding_mask=None, tgt_is_causal=False, memory_is_causal=False) [исходный код]

Передаёт входные данные (и маску) через слой декодера.

Параметры:

• tgt (Tensor) – последовательность для слоя декодера (обязательный параметр).
• memory (Tensor) – последовательность с последнего слоя кодировщика (обязательный параметр).
• tgt_mask (Tensor | None) – маска для последовательности tgt (необязательно).
• memory_mask (Tensor | None) – маска для последовательности memory (необязательно).
• tgt_key_padding_mask (Tensor | None) – маска для ключей tgt в каждом элементе пакета (необязательно).
• memory_key_padding_mask (Tensor | None) – маска для ключей memory в каждом элементе пакета (необязательно).
• tgt_is_causal (bool) – Если указано, применяет причинную маску как tgt mask. По умолчанию: False. Предупреждение: tgt_is_causal указывает, что tgt_mask является причинной маской. Неверные подсказки могут привести к неправильному выполнению, в том числе нарушить прямую и обратную совместимость.
• memory_is_causal (bool) – Если указано, применяет причинную маску как memory mask. По умолчанию: False. Предупреждение: memory_is_causal указывает, что memory_mask является причинной маской. Неверные подсказки могут привести к неправильному выполнению, в том числе нарушить прямую и обратную совместимость.

Тип возвращаемого значения:

Tensor

Форма:

см. документацию для Transformer.