tf.raw_ops.QuantizeDownAndShrinkRange

Преобразует квантованный тензор 'input' в тензор 'output' с меньшей точностью, используя

tf.raw_ops.QuantizeDownAndShrinkRange(
    input, input_min, input_max, out_type, name=None
)

фактическое распределение значений для максимально эффективного использования меньшей разрядности и соответствующей корректировки минимального и максимального диапазонов выходных данных.

[input_min, input_max] — скалярные значения типа float, задающие диапазон для интерпретации данных 'input' как чисел с плавающей запятой. Например, если input_min равен -1.0f, а input_max — 1.0f, и мы имеем дело с квантованными данными типа quint16, то значение 0 в 16-битных данных должно интерпретироваться как -1.0f, а значение 65535 — как 1.0f.

Этот оператор пытается сохранить как можно больше точности в выходных данных с меньшей разрядностью, вычисляя фактические минимальное и максимальное значения в данных. Например, возможно, во входных данных quint16 нет значений меньше 16,384 и больше 49,152. Это означает, что фактически требуется только половина диапазона, а все значения при интерпретации как числа с плавающей запятой находятся между -0.5f и 0.5f. Поэтому, если мы хотим сжать данные в выходные данные quint8, можно использовать этот диапазон вместо теоретического диапазона от -1.0f до 1.0f, который задается минимальным и максимальным значениями входных данных.

На практике это особенно полезно для обработки выходных данных таких операций, как QuantizedMatMul, которые могут выдавать результаты с большей разрядностью, чем входные данные, и потенциально иметь большой диапазон выходных значений, хотя на деле распределение входных значений использует лишь небольшую часть возможного диапазона. Передав эти выходные данные оператору, можно уменьшить их разрядность с 32 до 8 бит с минимальной потерей точности.