torch.compiler.skip_guard_on_inbuilt_nn_modules_unsafe

torch.compiler.skip_guard_on_inbuilt_nn_modules_unsafe(guard_entries) [исходный код]

Функция для пропуска проверок (guards) встроенных модулей nn, таких как torch.nn.Linear. По умолчанию использовать её небезопасно. Однако для большинства пользователей torch.compile код модели не изменяет атрибуты встроенных модулей nn. С помощью этого API они могут сократить задержки, связанные с проверками.

Чтобы использовать этот API, укажите аргумент guard_filter_fn при вызове torch.compile

>> opt_mod = torch.compile( >> mod, >> options={“guard_filter_fn”: torch.compiler.skip_guard_on_all_nn_modules_unsafe}, >> )