PerRow

class torch.ao.quantization.observer.PerRow [исходный код]

Представляет гранулярность поквантования по строкам.

Это частный случай поквантования по оси, уникальный для умножения матриц Float8, где входные данные квантуются с block_size (1, …, input.shape[-1]), а веса — с block_size (1, weight.shape[1]).