MinMaxObserver

class torch.ao.quantization.observer.MinMaxObserver(dtype=torch.quint8, qscheme=torch.per_tensor_affine, reduce_range=False, quant_min=None, quant_max=None, factory_kwargs=None, eps=1.1920928955078125e-07, is_dynamic=False, **kwargs) [исходный код]

Модуль-наблюдатель для вычисления параметров квантования на основе текущих минимальных и максимальных значений.

Этот наблюдатель использует статистику минимума и максимума тензора для вычисления параметров квантования. Модуль записывает текущие минимальное и максимальное значения входящих тензоров и использует эту статистику для вычисления параметров квантования.

Параметры:

• dtype – аргумент dtype для узла quantize, необходимый для реализации спецификации эталонной модели.
• qscheme – схема квантования
• reduce_range – уменьшает диапазон квантованного типа данных на 1 бит
• quant_min – минимальное значение квантования. Если не указано, используется 8-битная настройка.
• quant_max – максимальное значение квантования. Если не указано, используется 8-битная настройка.
• eps (Tensor) – значение эпсилон для float32. По умолчанию — torch.finfo(torch.float32).eps.

Для текущих минимального и максимального значений $x_\text{min}$ и $x_\text{max}$ масштаб $s$ и нулевая точка $z$ вычисляются следующим образом:

Текущие минимальное и максимальное значения $x_\text{min/max}$ вычисляются следующим образом:

$$\begin{array}{ll} x_\text{min} &= \begin{cases} \min(X) & \text{if~}x_\text{min} = \text{None} \\ \min\left(x_\text{min}, \min(X)\right) & \text{otherwise} \end{cases}\\ x_\text{max} &= \begin{cases} \max(X) & \text{if~}x_\text{max} = \text{None} \\ \max\left(x_\text{max}, \max(X)\right) & \text{otherwise} \end{cases}\\ \end{array}$$

где $X$ — наблюдаемый тензор.

Затем масштаб $s$ и нулевая точка $z$ вычисляются следующим образом:

$$\begin{aligned} \text{if Symmetric:}&\\ &s = 2 \max(|x_\text{min}|, x_\text{max}) / \left( Q_\text{max} - Q_\text{min} \right) \\ &z = \begin{cases} 0 & \text{if dtype is qint8} \\ 128 & \text{otherwise} \end{cases}\\ \text{Otherwise:}&\\ &s = \left( x_\text{max} - x_\text{min} \right ) / \left( Q_\text{max} - Q_\text{min} \right ) \\ &z = Q_\text{min} - \text{round}(x_\text{min} / s) \end{aligned}$$

где $Q_\text{min}$ и $Q_\text{max}$ — минимальное и максимальное значения квантованного типа данных.

Предупреждение

dtype может принимать только torch.qint8 или torch.quint8.

Примечание

Если текущее минимальное значение равно текущему максимальному значению, масштаб и zero_point устанавливаются равными 1.0 и 0.

calculate_qparams() [исходный код]

Вычисляет параметры квантования.

forward(x_orig) [исходный код]

Записывает текущие минимальное и максимальное значения x.

reset_min_max_vals() [исходный код]

Сбрасывает значения минимума и максимума.