torch.set_float32_matmul_precision

torch.set_float32_matmul_precision(precision) [source]

Устанавливает внутреннюю точность для операций умножения матриц с плавающей запятой float32.

Выполнение операций умножения матриц float32 с меньшей точностью может значительно повысить производительность, а в некоторых программах потеря точности имеет незначительное влияние.

Поддерживает три значения:

• “highest”, для внутренних вычислений операций умножения матриц float32 используется тип данных float32.
• “high”, для внутренних вычислений операций умножения матриц float32 используется тип данных TensorFloat32 или bfloat16_3x, если доступны быстрые алгоритмы умножения матриц, использующие эти типы данных. В противном случае операции умножения матриц float32 вычисляются так, как если бы точность была “highest”.
• “medium”, для внутренних вычислений операций умножения матриц float32 используется тип данных bfloat16, если доступен быстрый алгоритм умножения матриц, использующий этот тип данных. В противном случае операции умножения матриц float32 вычисляются так, как если бы точность была “high”.

Примечание

Это не изменяет тип данных результата операций умножения матриц float32, а контролирует, как выполняется внутреннее вычисление умножения матриц.

Примечание

Это не изменяет точность операций свёртки. Другие флаги, такие как torch.backends.cudnn.allow_tf32, могут контролировать точность операций свёртки.

Примечание

В настоящее время этот флаг влияет только на один тип устройства: CUDA. Если установлены “high” или “medium”, то тип данных TensorFloat32 будет использоваться при вычислении операций умножения матриц float32, что эквивалентно установке torch.backends.cuda.matmul.allow_tf32 = True. При установке “highest” (по умолчанию) тип данных float32 используется для внутренних вычислений, что эквивалентно установке torch.backends.cuda.matmul.allow_tf32 = False.

Параметры:

precision (str) – может быть установлено на “highest” (по умолчанию), “high” или “medium” (см. выше).