tf.raw_ops.QuantizeAndDequantizeV2

Квантует, а затем деквантует тензор.

tf.raw_ops.QuantizeAndDequantizeV2(
    input, input_min, input_max, signed_input=True, num_bits=8, range_given=False,
    round_mode='HALF_TO_EVEN', narrow_range=False, axis=-1, name=None
)

Этот оператор моделирует потерю точности при квантованном прямом проходе, выполняя следующие действия:

1. Квантование тензора до чисел с фиксированной точкой, которое должно соответствовать целевому методу квантования при использовании его в инференции.
2. Деквантование его обратно в числа с плавающей точкой для последующих операций, скорее всего, matmul.

Существует несколько способов квантования. Этот вариант использует только масштабирование, поэтому 0,0 отображается на 0.

Из указанного 'num_bits' в типе квантованного выходного значения определяется минимальное и максимальное представимые квантованные значения.

Например:

• [-128, 127] для знаковых чисел, num_bits = 8, или
• [0, 255] для беззнаковых чисел, num_bits = 8.

Если range_given == False, начальные input_min, input_max будут определяться автоматически как минимальное и максимальное значения в тензоре, в противном случае используются указанные значения input_min, input_max.

Примечание: Если input_min, input_max указаны, они не должны равняться фактическим минимальному и максимальному значениям в тензоре. Например, в некоторых случаях может быть полезно указать эти значения таким образом, чтобы низковероятные крайности распределения входных данных были обрезанны.

Этот оператор определяет максимальный коэффициент масштабирования, который будет отображать начальный диапазон [input_min, input_max] в диапазон, находящийся в пределах представимого квантованного диапазона.

Он определяет масштаб по одному из input_min и input_max, а затем обновляет другой, чтобы максимизировать представимый диапазон.

Например:

• Если выходной тип знаковый, num_bits = 8, [input_min, input_max] = [-10,0, 5,0]: он будет использовать коэффициент масштабирования -128 / -10,0 = 12,8. В этом случае он обновит input_max до 127 / 12,8 = 9,921875
• Если выходной тип знаковый, num_bits = 8, [input_min, input_max] = [-10,0, 10,0]: он будет использовать коэффициент масштабирования 127 / 10,0 = 12,7. В этом случае он обновит input_min до 128,0 / 12,7 = -10,07874
• Если выходной тип беззнаковый, input_min принудительно устанавливается в 0, и используется только указанный input_max.

После определения коэффициента масштабирования и обновления входного диапазона он применяет следующее к каждому значению в тензоре 'input'.

output = round(clamp(value, input_min, input_max) * scale_factor) / scale_factor.

Функция round округляет значение в соответствии с заданным режимом округления.