Переменные окружения CUDA

PYTORCH_NO_CUDA_MEMORY_CACHING

Если задано значение 1, отключается кэширование выделений памяти в CUDA. Это может быть полезно для отладки.

PYTORCH_ALLOC_CONF

Подробное объяснение этой переменной окружения см. в разделе Управление памятью. PYTORCH_CUDA_ALLOC_CONF — её псевдоним, предоставленный только для обратной совместимости.

PYTORCH_NVML_BASED_CUDA_CHECK

Если задано значение 1, перед импортом модулей PyTorch, проверяющих доступность CUDA, PyTorch будет использовать NVML для проверки работоспособности драйвера CUDA вместо среды выполнения CUDA. Это может быть полезно, если в разветвлённых процессах возникает ошибка инициализации CUDA.

TORCH_CUDNN_V8_API_LRU_CACHE_LIMIT

Ограничение кэша для API cuDNN v8. Оно используется для ограничения объёма памяти, используемой API cuDNN v8. Значение по умолчанию — 10000, что соответствует примерно 2 ГиБ при условии, что каждый ExecutionPlan занимает 200 КиБ. Задайте значение 0, чтобы снять ограничение, или отрицательное значение, чтобы отключить кэширование.

TORCH_CUDNN_V8_API_DISABLED

Если задано значение 1, API cuDNN v8 отключается, и вместо него используется API cuDNN v7.

TORCH_ALLOW_TF32_CUBLAS_OVERRIDE

Если задано значение 1, принудительно включается TF32, переопределяя настройку set_float32_matmul_precision.

TORCH_NCCL_USE_COMM_NONBLOCKING

Если задано значение 1, включается неблокирующая обработка ошибок в NCCL.

TORCH_NCCL_AVOID_RECORD_STREAMS

Если задано значение 0, включается резервный режим синхронизации на основе потоков записи в NCCL.

TORCH_CUDNN_V8_API_DEBUG

Если задано значение 1, выполняется проверка корректности использования cuDNN V8.

CUDA_VISIBLE_DEVICES

Список идентификаторов графических процессоров, разделённых запятыми, которые должны быть доступны среде выполнения CUDA. Если задано значение -1, графические процессоры недоступны.

CUDA_LAUNCH_BLOCKING

Если задано значение 1, вызовы CUDA выполняются синхронно. Это может быть полезно для отладки.

CUBLAS_WORKSPACE_CONFIG

Эта переменная окружения используется для настройки конфигурации рабочей области cuBLAS для каждого выделения памяти. Формат: :[SIZE]:[COUNT]. Например, размер рабочей области по умолчанию для каждого выделения памяти равен CUBLAS_WORKSPACE_CONFIG=:4096:2:16:8, что задаёт общий размер 2 * 4096 + 8 * 16 KiB. Чтобы запретить cuBLAS использовать рабочие области, задайте CUBLAS_WORKSPACE_CONFIG=:0:0.

CUDNN_CONV_WSCAP_DBG

Подобно CUBLAS_WORKSPACE_CONFIG, эта переменная окружения используется для настройки конфигурации рабочей области cuDNN для каждого выделения памяти.

CUBLASLT_WORKSPACE_SIZE

Подобно CUBLAS_WORKSPACE_CONFIG, эта переменная окружения используется для настройки размера рабочей области cuBLASLT.

CUDNN_ERRATA_JSON_FILE

Можно задать путь к файлу с фильтром errata, который передаётся cuDNN для исключения определённых конфигураций движка. Используется преимущественно для отладки или фиксации параметров автоподбора.

NVIDIA_TF32_OVERRIDE

Если задано значение 0, TF32 отключается глобально для всех ядер, переопределяя все настройки PyTorch.