torch.nn.attention.bias

Создано: 5 дек. 2023 г. | Последнее обновление: 14 июн. 2025 г.

Определяет подклассы смещения, используемые с scaled_dot_product_attention

CausalBias

Смещение, представляющее шаблоны причинного внимания.

`causal_lower_right`	Создаёт причинное смещение в виде нижнего правого треугольника.
`causal_upper_left`	Создаёт причинное смещение в виде верхнего левого треугольника.
`CausalVariant`	Перечисление вариантов причинности, используемых в механизмах внимания.

© 2026, PyTorch Contributors
PyTorch has a BSD-style license, as found in the LICENSE file.
https://docs.pytorch.org/docs/2.14/nn.attention.bias.html