torch.nn.attention.bias.causal_upper_left

torch.nn.attention.bias.causal_upper_left(*size) [исходный код]

Создаёт причинное смещение в виде верхнего левого треугольника.

Эта функция создаёт матрицу в виде верхнего левого треугольника, представляющую причинное смещение внимания, со смещением диагонали, при котором включённые значения выровнены по верхнему левому углу матрицы. Это эквивалентно аргументу is_causal=True в scaled_dot_product_attention.

Эквивалентный код PyTorch для создания этого смещения:

torch.tril(torch.ones(size, dtype=torch.bool))

Например, при shape=(3,4) материализованный тензор смещения будет выглядеть так:

[[1, 0, 0, 0],
 [1, 1, 0, 0],
 [1, 1, 1, 0]]

Параметры:

size – Размер матрицы смещения.

Возвращает:

Вариант причинного смещения в виде треугольника UPPER_LEFT.

Тип возвращаемого значения:

CausalBias