tf.raw_ops.QuantizeAndDequantizeV2

Квантует, а затем деквантует тензор.

tf.raw_ops.QuantizeAndDequantizeV2(
    input, input_min, input_max, signed_input=True, num_bits=8, range_given=False,
    round_mode='HALF_TO_EVEN', narrow_range=False, axis=-1, name=None
)

Этот оператор моделирует потерю точности при квантовом проходе, выполняя следующие действия:

1. Квантование тензора до чисел с фиксированной точкой, которые должны соответствовать целевому методу квантования, когда он используется в инференции.
2. Деквантование обратно в числа с плавающей точкой для последующих операций, вероятно, matmul.

Существует несколько способов квантования. Этот вариант использует только масштабирование, поэтому 0.0 отображается в 0.

Из указанного 'num_bits' в типе квантованного результата определяется минимальное и максимальное значения квантованных значений.

Например:

• [-128, 127] для знакового, num_bits = 8, или
• [0, 255] для беззнакового, num_bits = 8.

Если range_given == False, начальное input_min, input_max будет определено автоматически как минимальное и максимальное значения в входном тензоре, в противном случае используются указанные значения input_min, input_max.

Примечание: Если input_min, input_max указаны, они не обязательно должны равняться фактическим минимальному и максимальному значениям в тензоре. Например, в некоторых случаях может быть выгодно указать эти значения таким образом, чтобы низкие вероятностные экстремумы распределения входных данных были обрезаны.

Этот оператор определяет максимальный scale_factor, который отображает начальный диапазон [input_min, input_max] в диапазон, лежащий в пределах представимого квантованного диапазона.

Он определяет масштаб по одному из input_min и input_max, затем обновляет другой, чтобы максимизировать представимый диапазон.

Например:

• если результат знаковый, num_bits = 8, [input_min, input_max] = [-10.0, 5.0]: он будет использовать scale_factor -128 / -10.0 = 12.8 В этом случае он обновит input_max до 127 / 12.8 = 9.921875
• если результат знаковый, num_bits = 8, [input_min, input_max] = [-10.0, 10.0]: он будет использовать scale_factor 127 / 10.0 = 12.7 В этом случае он обновит input_min до 128.0 / 12.7 = -10.07874
• если результат беззнаковый, input_min принудительно устанавливается в 0, и используется только указанное input_max.

После определения scale_factor и обновления диапазона входных данных он применяет следующее к каждому значению в тензоре 'input'.

output = round(clamp(value, input_min, input_max) * scale_factor) / scale_factor.

Функция round выше округляет значение в соответствии с заданным round_mode.