quantize_dynamic

class torch.ao.quantization.quantize_dynamic(model, qconfig_spec=None, dtype=torch.qint8, mapping=None, inplace=False) [source]

Преобразует модель с плавающей точкой в модель с динамическим квантованием (т. е. квантованием только весов).

Заменяет указанные модули версиями с динамическим квантованием только весов и возвращает квантованную модель.

Для самого простого использования укажите аргумент dtype, который может иметь значение float16 или qint8. По умолчанию квантование только весов выполняется для слоёв с большим размером весов, то есть для Linear и вариантов RNN.

Точная настройка возможна с помощью qconfig и mapping, которые работают аналогично quantize(). Если указан qconfig, аргумент dtype игнорируется.

Параметры:

• model – входная модель

• qconfig_spec –

  Варианты:

  • Словарь, сопоставляющий имя или тип подмодуля с конфигурацией квантования; конфигурация qconfig применяется ко всем подмодулям данного модуля, если для подмодулей не указаны конфигурации qconfig (когда у подмодуля уже есть атрибут qconfig). Записи в словаре должны быть экземплярами QConfig.
  • Набор типов и/или имён подмодулей, для которых следует применить динамическое квантование; в этом случае аргумент dtype используется для указания разрядности
• inplace – выполнять преобразования модели на месте; исходный модуль изменяется
• mapping – сопоставляет тип подмодуля с типом соответствующей динамически квантованной версии, которой следует заменить подмодуль