tf.raw_ops.QuantizeAndDequantizeV2

Квантует, а затем деквантует тензор.

tf.raw_ops.QuantizeAndDequantizeV2(
    input,
    input_min,
    input_max,
    signed_input=True,
    num_bits=8,
    range_given=False,
    round_mode='HALF_TO_EVEN',
    narrow_range=False,
    axis=-1,
    name=None
)

Этот оператор моделирует потерю точности при квантованном проходе вперёд, выполняя следующие действия:

1. Квантование тензора до чисел с фиксированной точкой, которые должны соответствовать целевому методу квантования при использовании в инференции.
2. Деквантование обратно до чисел с плавающей точкой для последующих операций, скорее всего, matmul.

Существует несколько способов квантования. Этот вариант использует только масштабирование, поэтому 0,0 отображается как 0.

На основе указанного 'num_bits' в типе квантованного выхода определяется минимальное и максимальное представимые квантованные значения.

Например:

• [-128, 127] для знакового типа, num_bits = 8, или
• [0, 255] для беззнакового типа, num_bits = 8.

Если range_given == False, начальное input_min, input_max будут определены автоматически как минимальное и максимальное значения в тензоре входных данных, в противном случае используются указанные значения input_min, input_max.

Примечание: Если input_min, input_max указаны, они не обязательно должны быть равны фактическим минимальному и максимальному значениям в тензоре. Например, в некоторых случаях может быть полезно указать эти значения таким образом, чтобы низкочастотные экстремумы распределения входных данных были усечены.

Этот оператор определяет максимальный коэффициент масштабирования, который отобразил бы начальный диапазон [input_min, input_max] в диапазон, находящийся в пределах представимого квантованного диапазона.

Он определяет масштаб по одному из input_min и input_max, затем обновляет другой, чтобы максимизировать представимый диапазон.

Например:

• Если выход знаковый, num_bits = 8, [input_min, input_max] = [-10.0, 5.0]: он будет использовать коэффициент масштабирования -128 / -10.0 = 12.8. В этом случае он обновит input_max до 127 / 12.8 = 9.921875
• Если выход знаковый, num_bits = 8, [input_min, input_max] = [-10.0, 10.0]: он будет использовать коэффициент масштабирования 127 / 10.0 = 12.7. В этом случае он обновит input_min до 128.0 / 12.7 = -10.07874
• Если выход беззнаковый, input_min принудительно устанавливается в 0, и используется только указанный input_max.

После определения коэффициента масштабирования и обновления диапазона входных данных он применяет следующие действия к каждому значению в тензоре 'input'.

output = round(clamp(value, input_min, input_max) * scale_factor) / scale_factor.

Функция round округляет значение в соответствии с заданным round_mode.