torch.cuda.cudart

torch.cuda.cudart() [исходный код]

Получает модуль API среды выполнения CUDA.

Эта функция инициализирует среду выполнения CUDA, если она ещё не инициализирована, и возвращает модуль API среды выполнения CUDA (_cudart). Модуль API среды выполнения CUDA предоставляет доступ к различным функциям среды выполнения CUDA.

Параметры:

Нет –

Возвращает:

Модуль API среды выполнения CUDA (_cudart).

Тип возвращаемого значения:

module

Вызывает исключения:

• RuntimeError – Если CUDA невозможно повторно инициализировать в дочернем процессе, созданном с помощью fork.
• AssertionError – Если PyTorch собран без поддержки CUDA или функции libcudart недоступны.

Пример операций CUDA с профилированием:

>>> import torch
>>> from torch.cuda import cudart, check_error
>>> import os
>>>
>>> os.environ["CUDA_PROFILE"] = "1"
>>>
>>> def perform_cuda_operations_with_streams():
>>>     stream = torch.cuda.Stream()
>>>     with torch.cuda.stream(stream):
>>>         x = torch.randn(100, 100, device='cuda')
>>>         y = torch.randn(100, 100, device='cuda')
>>>         z = torch.mul(x, y)
>>>     return z
>>>
>>> torch.cuda.synchronize()
>>> print("====== Start nsys profiling ======")
>>> check_error(cudart().cudaProfilerStart())
>>> with torch.autograd.profiler.emit_nvtx():
>>>     result = perform_cuda_operations_with_streams()
>>>     print("CUDA operations completed.")
>>> check_error(torch.cuda.cudart().cudaProfilerStop())
>>> print("====== End nsys profiling ======")

Чтобы выполнить этот пример и сохранить данные профилирования, запустите:

>>> $ nvprof --profile-from-start off --csv --print-summary -o trace_name.prof -f -- python cudart_test.py

Эта команда профилирует операции CUDA в предоставленном скрипте и сохраняет данные профилирования в файл с именем trace_name.prof. Параметр –profile-from-start off гарантирует, что профилирование начнётся только после вызова cudaProfilerStart в скрипте. Параметры –csv и –print-summary форматируют вывод профилирования в виде CSV-файла и выводят сводку соответственно. Параметр -o задаёт имя выходного файла, а параметр -f принудительно перезаписывает выходной файл, если он уже существует.