torch.compiler.skip_guard_on_all_nn_modules_unsafe

torch.compiler.skip_guard_on_all_nn_modules_unsafe(guard_entries) [source]

Общая функция для пропуска проверок всех модулей nn — как пользовательских, так и встроенных (например, torch.nn.Linear). По умолчанию использовать её небезопасно. Однако в большинстве случаев пользователи torch.compile не изменяют атрибуты модулей nn в коде модели. С помощью этого API они могут сократить накладные расходы на задержку, связанные с проверками.

Чтобы использовать этот API, укажите аргумент guard_filter_fn при вызове torch.compile

>> opt_mod = torch.compile( >> mod, >> options={“guard_filter_fn”: torch.compiler.skip_guard_on_all_nn_modules_unsafe}, >> )