torch.compiler.set_enable_guard_collectives

torch.compiler.set_enable_guard_collectives(enabled) [исходный код]

Включает использование коллективных операций во время проверки guard-условий для синхронизации поведения между рангами. Это дорого: коллективную операцию приходится выполнять каждый раз при входе в область скомпилированного кода, даже если ни одному рангу на самом деле не требуется компиляция. Это помогает предотвратить зависания NCCL, гарантируя, что не возникнет ситуации, когда один ранг начинает повторную компиляцию, а остальные ранги не компилируют код. Это особенно полезно в сочетании с enable_compiler_collectives, поскольку в такой ситуации выполнение немедленно зависнет (для запуска коллективных операций компилятора необходимо, чтобы все ранги компилировали код одновременно). Как и коллективные операции компилятора, эта функция работает только в программах SPMD; в противном случае выполнение зависнет. Обратите внимание, что коллективная операция для проверки guard-условий выполняется только при наличии скомпилированного кода, для которого нужно проверить guard-условия; если кадр встречается впервые или пропускается, коллективные операции не выполняются.

Возвращает предыдущее значение параметра enabled.