TransformerEncoder

class torch.nn.TransformerEncoder(encoder_layer, num_layers, norm=None, enable_nested_tensor=True, mask_check=True) [source]

TransformerEncoder — это стек из N слоёв энкодера. Пользователи могут построить модель BERT(https://arxiv.org/abs/1810.04805) с соответствующими параметрами.

Параметры

• encoder_layer – экземпляр класса TransformerEncoderLayer() (обязательно).
• num_layers – количество подслоёв энкодера (обязательно).
• norm – компонент нормализации слоя (необязательно).
• enable_nested_tensor – если True, вход автоматически преобразуется в вложенный тензор (и обратно при выводе). Это улучшит общую производительность TransformerEncoder при высокой степени заполнения. По умолчанию: True (включено).

Примеры::

>>> encoder_layer = nn.TransformerEncoderLayer(d_model=512, nhead=8)
>>> transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers=6)
>>> src = torch.rand(10, 32, 512)
>>> out = transformer_encoder(src)

forward(src, mask=None, src_key_padding_mask=None, is_causal=None) [source]

Передача входных данных через слои энкодера по очереди.

Параметры

• src (Tensor) – последовательность для энкодера (обязательно).
• mask (Optional[Tensor]) – маска для последовательности src (необязательно).
• src_key_padding_mask (Optional[Tensor]) – маска для ключей src по каждой группе (необязательно).
• is_causal (Optional[bool]) – Если указано, применяется маска причинности как mask. По умолчанию: None; пытается определить маску причинности. Предупреждение: is_causal указывает, что mask является маской причинности. Неправильные указания могут привести к неправильному выполнению, включая прямую и обратную совместимость.

Тип возвращаемого значения

Tensor

Форма:

см. документацию в классе Transformer.