torch.jit.set_fusion_strategy

torch.jit.set_fusion_strategy(strategy) [source]

Устанавливает тип и количество специализаций, которые могут произойти во время слияния.

Использование: предоставьте список пар (тип, глубина), где тип — это «STATIC» или «DYNAMIC», а глубина — целое число.

Поведение - статическое против динамического:

При статическом слиянии слиянные операции компилируются с фиксированными форматами входных данных. Формат определяется на основе некоторых начальных профилирующих запусков. При динамическом слиянии слиянные операции компилируются с переменными форматами входных данных, так что возможны несколько форматов.

В обоих случаях мы также перекомпилируем при изменении шага, устройстве или типе данных.

Поведение - функции обратного вызова и глубина:

Когда вход не соответствует формату, требуемому специализированной скомпилированной операцией, будет выполнена функция обратного вызова. Функции обратного вызова рекурсивно компилируются и специализируются на основе наблюдаемых форм тензоров. Поскольку компиляция может быть медленной, параметр «глубина» используется для ограничения количества специализаций, которые могут быть скомпилированы, прежде чем отказаться от перекомпиляции и вернуться к полностью неслиянной, неспециализированной реализации.

Список пар (тип, глубина) управляет типом специализаций и количеством специализаций. Например, [(«STATIC», 2), («DYNAMIC», 2)] означает, что первые две специализации будут использовать статическое слияние, следующие две специализации — динамическое слияние, а любые входные данные, не удовлетворяющие ни одному из 4 вариантов, будут использовать неслиянную реализацию.

ПРИМЕЧАНИЕ: в будущем, если будет добавлено больше бэкэндов слияния, могут появиться более подробные API для конкретных слияний.