Переменные окружения PYTORCH ProcessGroupNCCL

TORCH_NCCL_ASYNC_ERROR_HANDLING

Управляет обработкой асинхронных ошибок NCCL при обнаружении исключения в сторожевом потоке. Если установлено значение 0, асинхронные ошибки NCCL не обрабатываются. Если установлено значение 1, при возникновении ошибки происходит прерывание коммуникатора NCCL и завершение процесса. Если установлено значение 2, прерывается только коммуникатор NCCL, а если значение 3 — завершается процесс без прерывания коммуникатора NCCL. По умолчанию установлено значение 3.

TORCH_NCCL_HIGH_PRIORITY

Управляет использованием потока с высоким приоритетом для коммуникатора NCCL.

TORCH_NCCL_BLOCKING_WAIT

Управляет тем, будет ли вызов wait() блокирующим или неблокирующим.

TORCH_NCCL_DUMP_ON_TIMEOUT

Управляет созданием дампа отладочной информации при обнаружении тайм-аута или исключения в сторожевом потоке. Эту переменную необходимо задать вместе с TORCH_NCCL_TRACE_BUFFER_SIZE, установив для последней значение больше 0.

TORCH_NCCL_DESYNC_DEBUG

Управляет включением отладки рассинхронизации. Это помогает определить ранг, вызвавший рассинхронизацию коллективной операции.

TORCH_NCCL_ENABLE_TIMING

Если установлено значение 1, включает запись событий начала для всех коллективных операций ProcessGroupNCCL и вычисление точного времени выполнения каждой коллективной операции.

TORCH_NCCL_ENABLE_MONITORING

Если установлено значение 1, включает поток мониторинга, который прерывает процесс, если поток Watchdog ProcessGroupNCCL зависает и по истечении TORCH_NCCL_HEARTBEAT_TIMEOUT_SEC не обнаруживается сигнал активности. Это может произойти при вызове API CUDA/NCCL, которые могут зависнуть. Это полезно для предотвращения длительного зависания задач, из-за которого ресурсы кластера остаются занятыми дольше необходимого.

TORCH_NCCL_HEARTBEAT_TIMEOUT_SEC

Задает период ожидания сигнала активности сторожевого потока, по истечении которого поток мониторинга прерывает процесс.

TORCH_NCCL_TRACE_BUFFER_SIZE

Максимальное количество событий, сохраняемых в кольцевом буфере регистратора выполнения. Например, событием может быть начало или завершение коллективной операции. Чтобы отключить буфер трассировки и выгрузку отладочной информации, установите значение 0.

TORCH_NCCL_TRACE_CPP_STACK

Определяет, следует ли собирать трассировки стека C++ для регистратора выполнения. Значение по умолчанию — False.

TORCH_NCCL_COORD_CHECK_MILSEC

Задает интервал, с которым поток мониторинга проверяет согласованный сигнал от других рангов, например для выгрузки отладочной информации. Значение по умолчанию — 1000 мс.

TORCH_NCCL_WAIT_TIMEOUT_DUMP_MILSEC

Задает дополнительное время ожидания выгрузки отладочной информации перед завершением работы и выдачей исключения по тайм-ауту.

TORCH_NCCL_DEBUG_INFO_TEMP_FILE

Файл, в который будет выгружена отладочная информация.

TORCH_NCCL_DEBUG_INFO_PIPE_FILE

Файл канала для запуска выгрузки отладочной информации вручную. Запись любых данных в канал запустит выгрузку.

TORCH_NCCL_NAN_CHECK

Управляет включением проверки входных данных на NAN. Если обнаружен NAN, будет выброшено исключение.