torch.nn.attention.bias.causal_lower_right

torch.nn.attention.bias.causal_lower_right(*size) [source]

Создает причинную маску в виде нижнего треугольника со смещением вправо.

Эта функция создает нижнетреугольную матрицу для представления причинной маски внимания со смещением диагонали, при котором включенные значения выравниваются по нижнему правому углу матрицы.

Эквивалентный код PyTorch для создания этой маски:

diagonal_offset = size[1] - size[0]
torch.tril(
    torch.ones(size, dtype=torch.bool),
    diagonal=diagonal_offset,
)

Например, при shape=(3,4) материализованный тензор маски будет выглядеть так:

[[1, 1, 0, 0],
 [1, 1, 1, 0],
 [1, 1, 1, 1]]

Параметры:

size – Размер матрицы маски.

Возвращает:

Вариант причинной маски в виде нижнего треугольника со смещением вправо.

Тип возвращаемого значения:

CausalBias