torch.cuda

Этот пакет добавляет поддержку типов тензоров CUDA, которые реализуют те же функции, что и тензоры CPU, но они используют GPU для вычислений.

Он инициализируется лениво, поэтому вы всегда можете его импортировать и использовать is_available(), чтобы определить, поддерживает ли ваша система CUDA.

Семантика CUDA содержит более подробную информацию о работе с CUDA.

`StreamContext`	Менеджер контекста, который выбирает заданный поток.
`can_device_access_peer`	Проверяет, возможен ли доступ к peer между двумя устройствами.
`current_blas_handle`	Возвращает указатель cublasHandle_t на текущую обработку cuBLAS.
`current_device`	Возвращает индекс текущего выбранного устройства.
`current_stream`	Возвращает текущий выбранный `Stream` для данного устройства.
`default_stream`	Возвращает значение по умолчанию `Stream` для данного устройства.
`device`	Менеджер контекста, который изменяет выбранное устройство.
`device_count`	Возвращает количество доступных GPU.
`device_of`	Менеджер контекста, который изменяет текущее устройство на устройство данного объекта.
`get_arch_list`	Возвращает список архитектур CUDA, для которых был скомпилирован этот библиотека.
`get_device_capability`	Получает возможности cuda устройства.
`get_device_name`	Получает имя устройства.
`get_device_properties`	Получает свойства устройства.
`get_gencode_flags`	Возвращает флаги NVCC gencode, с которыми была скомпилирована эта библиотека.
`get_sync_debug_mode`	Возвращает текущее значение режима отладки для операций синхронизации cuda.
`init`	Инициализирует состояние CUDA PyTorch.
`ipc_collect`	Вынуждает сбор памяти GPU после ее освобождения с помощью CUDA IPC.
`is_available`	Возвращает bool, указывающий, доступна ли в данный момент CUDA.
`is_initialized`	Возвращает, было ли инициализировано состояние CUDA PyTorch.
`memory_usage`	Возвращает процент времени за последний период выборки, в течение которого глобальная (устройства) память читалась или записывалась.
`set_device`	Устанавливает текущее устройство.
`set_stream`	Устанавливает текущий поток. Это обёртка API для установки потока.
`set_sync_debug_mode`	Устанавливает режим отладки для операций синхронизации cuda.
`stream`	Обёртка вокруг менеджера контекста StreamContext, который выбирает заданный поток.
`synchronize`	Ожидает завершения всех ядер во всех потоках на устройстве CUDA.
`utilization`	Возвращает процент времени за последний период выборки, в течение которого одно или несколько ядер выполнялись на GPU, как указано в `nvidia-smi`.
`OutOfMemoryError`	Исключение, возникающее, когда в CUDA закончилась память.

Генератор случайных чисел

`get_rng_state`	Возвращает состояние генератора случайных чисел указанного GPU в виде ByteTensor.
`get_rng_state_all`	Возвращает список ByteTensor, представляющих состояния генераторов случайных чисел всех устройств.
`set_rng_state`	Устанавливает состояние генератора случайных чисел указанного GPU.
`set_rng_state_all`	Устанавливает состояние генератора случайных чисел всех устройств.
`manual_seed`	Устанавливает семя для генерации случайных чисел для текущего GPU.
`manual_seed_all`	Устанавливает семя для генерации случайных чисел на всех GPU.
`seed`	Устанавливает семя для генерации случайных чисел на случайное число для текущего GPU.
`seed_all`	Устанавливает семя для генерации случайных чисел на случайное число на всех GPU.
`initial_seed`	Возвращает текущее семя случайных чисел текущего GPU.

Коллективы коммуникации

`comm.broadcast`	Вещание тензора на заданные устройства GPU.
`comm.broadcast_coalesced`	Вещание последовательности тензоров на указанные GPU.
`comm.reduce_add`	Суммирование тензоров с нескольких GPU.
`comm.scatter`	Рассылка тензора по нескольким GPU.
`comm.gather`	Сбор тензоров с нескольких устройств GPU.

Потоки и события

`Stream`	Обёртка вокруг потока CUDA.
`ExternalStream`	Обёртка вокруг внешнего потока CUDA.
`Event`	Обёртка вокруг события CUDA.

Графы (бета)

`is_current_stream_capturing`	Возвращает True, если в текущем потоке CUDA включена запись графа CUDA, и False в противном случае.
`graph_pool_handle`	Возвращает невидимый маркер, представляющий идентификатор пула памяти графа.
`CUDAGraph`	Обёртка вокруг графа CUDA.
`graph`	Менеджер контекста, который записывает работу CUDA в объект `torch.cuda.CUDAGraph` для последующей повторной обработки.
`make_graphed_callables`	Принимает вызываемые элементы (функции или `nn.Module`) и возвращает их версии, сгенерированные из графа.

Управление памятью

`empty_cache`	Освобождает все незанятые кэшированные данные, которые в данный момент удерживает кэширующий выделение памяти, чтобы они могли быть использованы в других приложениях для работы с графическим процессором и отображались в `nvidia-smi`.
`list_gpu_processes`	Возвращает удобочитаемый вывод запущенных процессов и их использования памяти графического процессора для заданного устройства.
`mem_get_info`	Возвращает общую свободную и общую используемую память графического процессора для заданного устройства с помощью cudaMemGetInfo.
`memory_stats`	Возвращает словарь статистики выделения памяти CUDA для данного устройства.
`memory_summary`	Возвращает удобочитаемый вывод текущей статистики выделения памяти для заданного устройства.
`memory_snapshot`	Возвращает снимок состояния выделения памяти CUDA по всем устройствам.
`memory_allocated`	Возвращает текущий объем занимаемой памяти графического процессора тензорами в байтах для данного устройства.
`max_memory_allocated`	Возвращает максимальный объем занимаемой памяти графического процессора тензорами в байтах для данного устройства.
`reset_max_memory_allocated`	Сбрасывает стартовую точку отслеживания максимального объема занимаемой памяти графического процессора тензорами для данного устройства.
`memory_reserved`	Возвращает текущий объем памяти графического процессора, управляемой кэширующим выделением памяти, в байтах для данного устройства.
`max_memory_reserved`	Возвращает максимальный объем памяти графического процессора, управляемой кэширующим выделением памяти, в байтах для данного устройства.
`set_per_process_memory_fraction`	Установить долю памяти для процесса.
`memory_cached`	Устарело; см. `memory_reserved()`.
`max_memory_cached`	Устарело; см. `max_memory_reserved()`.
`reset_max_memory_cached`	Сбрасывает стартовую точку отслеживания максимального объема памяти графического процессора, управляемой кэширующим выделением памяти, для данного устройства.
`reset_peak_memory_stats`	Сбрасывает статистику "пиковых" значений, отслеживаемую выделением памяти CUDA.
`caching_allocator_alloc`	Выполняет выделение памяти с использованием выделения памяти CUDA.
`caching_allocator_delete`	Удаляет память, выделенную с использованием выделения памяти CUDA.

Расширение NVIDIA Tools (NVTX)

`nvtx.mark`	Описывает мгновенное событие, произошедшее в какой-то момент.
`nvtx.range_push`	Добавляет диапазон в стек вложенных диапазонов.
`nvtx.range_pop`	Удаляет диапазон из стека вложенных диапазонов.

Jiterator (бета)

`jiterator._create_jit_fn`	Создает ядро CUDA, сгенерированное jiterator, для операции по элементам.
`jiterator._create_multi_output_jit_fn`	Создает ядро CUDA, сгенерированное jiterator, для операции по элементам, которая поддерживает возвращение одного или нескольких выходов.

Очиститель потоков (прототип)

CUDA Sanitizer — это прототип инструмента для обнаружения ошибок синхронизации между потоками в PyTorch. См. документацию для получения информации о том, как его использовать.

© 2024, PyTorch Contributors
PyTorch has a BSD-style license, as found in the LICENSE file.
https://pytorch.org/docs/1.13/cuda.html