CausalVariant

class torch.nn.attention.bias.CausalVariant(value) [source]

Перечисление вариантов причинной маски, используемых в механизмах внимания.

Определяет два типа причинных масок:

UPPER_LEFT: представляет собой верхнюю левую треугольную маску для стандартного причинного внимания. Эквивалентный код PyTorch для создания этой маски:

torch.tril(torch.ones(size, dtype=torch.bool))

Например, при использовании shape=(3,4) материализованный тензор маски будет выглядеть так:

[[1, 0, 0, 0],
 [1, 1, 0, 0],
 [1, 1, 1, 0]]

LOWER_RIGHT: представляет собой нижнюю правую треугольную маску, значения которой выравниваются по нижнему правому углу матрицы.

Эквивалентный код PyTorch для создания этой маски:

diagonal_offset = size[1] - size[0]
torch.tril(
    torch.ones(size, dtype=torch.bool),
    diagonal=diagonal_offset,
)

Например, при использовании shape=(3,4) материализованный тензор маски будет выглядеть так:

[[1, 1, 0, 0],
 [1, 1, 1, 0],
 [1, 1, 1, 1]]

Обратите внимание, что эти варианты эквивалентны друг другу, когда длины последовательностей тензоров запроса и ключа/значения равны, поскольку треугольная матрица в этом случае является квадратной.

Предупреждение

Это перечисление является прототипом и может измениться.