PerToken

class torch.ao.quantization.observer.PerToken [исходный код]

Представляет гранулярность поквантизации по токенам.

Этот тип гранулярности вычисляет отдельный набор параметров квантования для каждого токена, который представлен последним измерением тензора.

Например, если входной тензор имеет форму [2, 3, 4], то имеется 6 токенов по 4 элемента в каждом, и мы вычислим 6 наборов параметров квантования — по одному для каждого токена.

Если входной тензор имеет только два измерения, например [8, 16], то это эквивалентно PerAxis(axis=0), что дает 8 наборов параметров квантования.