Документация PyTorch

PyTorch — это оптимизированная библиотека тензоров для глубокого обучения, использующая GPU и CPU.

Функции, описанные в этой документации, классифицируются по статусу выпуска:

Стабильно: Эти функции будут поддерживаться долгосрочно, и, как правило, не должно быть серьёзных ограничений производительности или пробелов в документации. Мы также ожидаем поддерживать обратную совместимость (хотя могут быть внесены изменения, вызывающие разрыв обратной совместимости, о которых будет сообщено за один выпуск до внесения изменения).

Бета-версия: Эти функции помечены как Бета-версия, потому что API может измениться на основе обратной связи пользователей, потому что требуется улучшение производительности или потому что покрытие операторов пока неполное. В отношении функций Бета-версии мы обязуемся довести их до стабильной классификации. Однако мы не обязуемся поддерживать обратную совместимость.

Прототип: Как правило, эти функции недоступны в составе двоичных дистрибутивов, таких как PyPI или Conda, за исключением случаев, когда они иногда доступны с помощью флагов во время выполнения, и находятся на ранней стадии для получения отзывов и тестирования.

Сообщество

• Управление PyTorch | Сборка + CI
• Руководство по участию в проекте PyTorch
• Философия проектирования PyTorch
• Управление PyTorch | Механизмы
• Управление PyTorch | Разработчики

Примечания для разработчиков

• Примеры автоматического смешанного точного представления CUDA
• Механизмы Autograd
• Семантика векторизации
• Потоковая обработка CPU и вывод TorchScript
• Семантика CUDA
• Распределённый параллелизм данных
• Расширение PyTorch
• Расширение torch.func с помощью autograd.Function
• Часто задаваемые вопросы
• Механизмы Gradcheck
• Семантика HIP (ROCm)
• Функции для масштабируемых развертываний
• Модули
• MPS бэкенд
• Рекомендации по использованию многопроцессорности
• Числовая точность
• Воспроизводимость
• Семантика сериализации
• Часто задаваемые вопросы для Windows

Языковые Bindings

• C++
• Javadoc
• torch::deploy

API Python

• torch
  • Тензоры
  • Генераторы
  • Случайное выборка
  • Сериализация
  • Параллелизм
  • Локальное отключение вычисления градиента
  • Математические операции
  • Утилиты
  • Символьные числа
  • Путь экспорта
  • Оптимизации
  • Теги операторов
• torch.nn
  • Параметр
  • Неинициализированный параметр
  • Неинициализированный буфер
  • Контейнеры
  • Сверточные слои
  • Слои пулинга
  • Слои дополнения
  • Нелинейные активации (взвешенная сумма, нелинейность)
  • Нелинейные активации (другие)
  • Слои нормализации
  • Рекуррентные слои
  • Слои трансформатора
  • Линейные слои
  • Слои дропаута
  • Разреженные слои
  • Функции расстояния
  • Функции потерь
  • Слои обработки изображений
  • Слои перемешивания
  • Слои DataParallel (много-GPU, распределённые)
  • Утилиты
  • Квантованные функции
  • Инициализация ленивых модулей
• torch.nn.functional
  • Функции свёртки
  • Функции пулинга
  • Механизмы внимания
  • Нелинейные функции активации
  • Линейные функции
  • Функции дропаута
  • Разреженные функции
  • Функции расстояния
  • Функции потерь
  • Функции обработки изображений
  • Функции DataParallel (много-GPU, распределённые)
• torch.Tensor
  • Типы данных
  • Инициализация и основные операции
  • Ссылка на класс тензора
• Атрибуты тензора
  • torch.dtype
  • torch.device
  • torch.layout
  • torch.memory_format
• Представления тензоров
• torch.amp
  • Автоматическое преобразование типов
  • Масштабирование градиента
  • Ссылка на операцию автоматического преобразования типов
• torch.autograd
  • torch.autograd.backward
  • torch.autograd.grad
  • Автоматическое дифференцирование в прямом режиме
  • Функциональный API высокого уровня
  • Локальное отключение вычисления градиента
  • По умолчанию, макеты градиента
  • Операции на месте с тензорами
  • Переменная (устарела)
  • Функции тензора autograd
  • Функция
  • Смеси методы контекста
  • Проверка численного градиента
  • Профилировщик
  • Обнаружение аномалий
  • Граф автоградиента
• torch.library
  • Library
  • fallthrough_kernel()
• torch.cpu
  • torch.cpu.current_stream
  • torch.cpu.is_available
  • torch.cpu.synchronize
  • torch.cpu.stream
  • torch.cpu.device_count
  • Контекст потока
  • Потоки и события

• torch.cuda
  • Контекст потока
  • torch.cuda.can_device_access_peer
  • torch.cuda.current_blas_handle
  • Текущий графический процессор
  • Текущий поток
  • Основной поток
  • device
  • Количество графических процессоров
  • device_of
  • torch.cuda.get_arch_list
  • torch.cuda.get_device_capability
  • torch.cuda.get_device_name
  • torch.cuda.get_device_properties
  • torch.cuda.get_gencode_flags
  • torch.cuda.get_sync_debug_mode
  • torch.cuda.init
  • torch.cuda.ipc_collect
  • torch.cuda.is_available
  • torch.cuda.is_initialized
  • torch.cuda.memory_usage
  • Установить графический процессор
  • torch.cuda.set_stream
  • torch.cuda.set_sync_debug_mode
  • torch.cuda.stream
  • torch.cuda.synchronize
  • torch.cuda.utilization
  • torch.cuda.temperature
  • torch.cuda.power_draw
  • torch.cuda.clock_rate
  • torch.cuda.OutOfMemoryError
  • Генератор случайных чисел
  • Коллективные коммуникации
  • Потоки и события
  • Графы (beta)
  • Управление памятью
  • Расширение NVIDIA Tools (NVTX)
  • Jiterator (beta)
  • Stream Sanitizer (прототип)
• Изучение использования памяти CUDA
• Генерация снимка
• Использование визуализатора
  • Активная временная шкала памяти
  • История состояния аллокатора
• Справочник по API снимка
  • _record_memory_history()
  • _snapshot()
  • _dump_snapshot()
• torch.mps
  • torch.mps.synchronize
  • torch.mps.get_rng_state
  • torch.mps.set_rng_state
  • torch.mps.manual_seed
  • torch.mps.seed
  • torch.mps.empty_cache
  • torch.mps.set_per_process_memory_fraction
  • torch.mps.current_allocated_memory
  • torch.mps.driver_allocated_memory
  • MPS Профилировщик
  • MPS Событие
• torch.backends
  • torch.backends.cpu
  • torch.backends.cuda
  • torch.backends.cudnn
  • torch.backends.mps
  • torch.backends.mkl
  • torch.backends.mkldnn
  • torch.backends.openmp
  • torch.backends.opt_einsum
  • torch.backends.xeon
• torch.export
  • Обзор
  • Экспорт модели PyTorch
  • Ограничения torch.export
  • Подробнее
  • Ссылка на API
• torch.distributed
  • Бекенды
  • Основы
  • Инициализация
  • После инициализации
  • Распределенный хранилище ключ-значение
  • Группы
  • Точечная коммуникация
  • Синхронные и асинхронные коллективные операции
  • Коллективные функции
  • Профилирование коллективной коммуникации
  • Коллективные функции для нескольких графических процессоров
  • Бекенды сторонних разработчиков
  • Утилита запуска
  • Утилита spawn
  • Отладка torch.distributed приложений
  • Ведение журнала

• torch.distributed.algorithms.join
  • Join
  • Joinable
  • JoinHook
• torch.distributed.elastic
  • Начало работы
  • Документация
• torch.distributed.fsdp
  • FullyShardedDataParallel
  • BackwardPrefetch
  • ShardingStrategy
  • MixedPrecision
  • CPUOffload
  • StateDictConfig
  • FullStateDictConfig
  • ShardedStateDictConfig
  • LocalStateDictConfig
  • OptimStateDictConfig
  • FullOptimStateDictConfig
  • ShardedOptimStateDictConfig
  • LocalOptimStateDictConfig
  • StateDictSettings
• torch.distributed.optim
  • DistributedOptimizer
  • PostLocalSGDOptimizer
  • ZeroRedundancyOptimizer
• torch.distributed.tensor.parallel
  • parallelize_module()
  • RowwiseParallel
  • ColwiseParallel
  • PairwiseParallel
  • SequenceParallel
  • make_input_replicate_1d()
  • make_input_reshard_replicate()
  • make_input_shard_1d()
  • make_input_shard_1d_last_dim()
  • make_output_replicate_1d()
  • make_output_reshard_tensor()
  • make_output_shard_1d()
  • make_output_tensor()
  • enable_2d_with_fsdp()
  • pre_dp_module_transform()
• torch.distributed.checkpoint
  • load_state_dict()
  • save_state_dict()
  • StorageReader
  • StorageWriter
  • LoadPlanner
  • LoadPlan
  • ReadItem
  • SavePlanner
  • SavePlan
  • WriteItem
  • FileSystemReader
  • FileSystemWriter
  • DefaultSavePlanner
  • DefaultLoadPlanner

• torch.distributions
  • Функция оценки
  • Производная по траектории
  • Распределение
  • Экспоненциальное семейство
  • Бернулли
  • Бета
  • Биномиальное
  • Категориальное
  • Коши
  • Хи-квадрат
  • Непрерывное распределение Бернулли
  • Дирихле
  • Экспоненциальное
  • Фишера-Снедекора
  • Гамма
  • Геометрическое
  • Губбеля
  • ПолуКоши
  • Полунормальное
  • Независимое
  • Кумарасвами
  • LKJХолеский
  • Лапласа
  • Логарифмически-нормальное
  • Малоранговое многомерное нормальное
  • Смесь семейств
  • Многономиальное
  • Многомерное нормальное
  • Отрицательное биномиальное
  • Нормальное
  • Один-из-N категориальное
  • Парето
  • Пуассона
  • Расслабленное Бернулли
  • Логит-расслабленное Бернулли
  • Расслабленное один-из-N категориальное
  • Студента
  • Преобразованное распределение
  • Равномерное
  • Воном-Мизеса
  • Вейбулла
  • Вишарта
  • KL Divergence
  • Transforms
  • Constraints
  • Constraint Registry
• torch.compiler
  • Подробнее
• torch.fft
  • Быстрые преобразования Фурье
  • Вспомогательные функции
• torch.func
  • Что такое композируемые преобразования функций?
  • Зачем композируемые преобразования функций?
  • Подробнее
• torch.futures
  • Future
  • collect_all()
  • wait_all()
• torch.fx
  • Обзор
  • Создание преобразований
  • Отладка
  • Ограничения символьного трассирования
  • Справочник по API
• torch.hub
  • Опубликовать модели
  • Загрузка моделей из Hub
• torch.jit
  • Справочник по языку TorchScript
  • Создание кода TorchScript
  • Смешивание трассировки и скриптинга
  • Язык TorchScript
  • Встроенные функции и модули
  • Отладка
  • Часто задаваемые вопросы
  • Известные проблемы
  • Приложение
• torch.linalg
  • Свойства матриц
  • Разложения
  • Решатели
  • Обратные матрицы
  • Функции матриц
  • Произведения матриц
  • Операции с тензорами
  • Разное
  • Экспериментальные функции
• torch.monitor
  • Справочник по API
• torch.signal
  • torch.signal.windows
• torch.special
  • Функции

• torch.overrides
  • Функции
• torch.package
  • Учебники
  • Как сделать…
  • Описание
  • Ссылка на API
• torch.profiler
  • Обзор
  • Ссылка на API
  • API технологий Intel Instrumentation и Tracing
• torch.nn.init
  • calculate_gain()
  • uniform_()
  • normal_()
  • constant_()
  • ones_()
  • zeros_()
  • eye_()
  • dirac_()
  • xavier_uniform_()
  • xavier_normal_()
  • kaiming_uniform_()
  • kaiming_normal_()
  • trunc_normal_()
  • orthogonal_()
  • sparse_()
• torch.onnx
  • Обзор
  • Экспортер ONNX на основе TorchDynamo
  • Экспортер ONNX на основе TorchScript
  • Вклад/Разработка
• torch.optim
  • Как использовать оптимизатор
  • Базовый класс
  • Алгоритмы
  • Как настроить скорость обучения
  • Среднее значение весов (SWA и EMA)
• Комплексные числа
  • Создание комплексных тензоров
  • Переход от старого представления
  • Доступ к действительной и мнимой частям
  • Угол и модуль
  • Линейная алгебра
  • Сериализация
  • Автоградиент
• Hooks связи DDP
  • Как использовать hook связи?
  • Что делает hook связи?
  • По умолчанию hooks связи
  • Hook связи PowerSGD
  • Отладка hooks связи
  • Сохранение состояний hooks связи
  • Благодарности
• Параллелизм конвейера
  • Модельный параллелизм с использованием нескольких GPU
  • Выполнение конвейера
  • API конвейера в PyTorch
  • Учебники
  • Благодарности
• Квантование
  • Введение в квантование
  • Обзор API квантования
  • Стек квантования
  • Матрица поддержки квантования
  • Ссылка на API квантования
  • Настройка бэкэнда квантования
  • Отладка точности квантования
  • Настройка квантования
  • Рекомендации
  • Часто задаваемые вопросы
  • Общие ошибки
• Распределенная система RPC
  • Основы
  • RPC
  • RRef
  • RemoteModule
  • Распределенная система автоградиента
  • Распределенный оптимизатор
  • Примечания к проектированию
  • Учебники
• torch.random
  • fork_rng()
  • get_rng_state()
  • initial_seed()
  • manual_seed()
  • seed()
  • set_rng_state()
• torch.masked
  • Введение
  • Поддерживаемые операторы
• torch.nested
  • Введение
  • Создание
  • размер
  • unbind
  • Функции создания и преобразования вложенных тензоров
  • Поддерживаемые операции

• torch.sparse
  • Почему и когда использовать разреженность
  • Обзор функциональности
  • Обзор операторов
  • Разреженные полуструктурированные тензоры
  • Разреженные тензоры COO
  • Разреженные сжатые тензоры
  • Поддерживаемые операции
• torch.Storage
  • TypedStorage
  • UntypedStorage
  • DoubleStorage
  • FloatStorage
  • HalfStorage
  • LongStorage
  • IntStorage
  • ShortStorage
  • CharStorage
  • ByteStorage
  • BoolStorage
  • BFloat16Storage
  • ComplexDoubleStorage
  • ComplexFloatStorage
  • QUInt8Storage
  • QInt8Storage
  • QInt32Storage
  • QUInt4x2Storage
  • QUInt2x4Storage
• torch.testing
  • assert_close()
  • make_tensor()
  • assert_allclose()
• torch.utils
  • torch.utils.rename_privateuse1_backend
  • torch.utils.generate_methods_for_privateuse1_backend
  • torch.utils.get_cpp_backtrace
  • torch.utils.set_module
• torch.utils.benchmark
  • Timer
  • Measurement
  • CallgrindStats
  • FunctionCounts
• torch.utils.bottleneck
• torch.utils.checkpoint
  • checkpoint()
  • checkpoint_sequential()
• torch.utils.cpp_extension
  • CppExtension()
  • CUDAExtension()
  • BuildExtension()
  • load()
  • load_inline()
  • include_paths()
  • get_compiler_abi_compatibility_and_version()
  • verify_ninja_availability()
  • is_ninja_available()
• torch.utils.data
  • Типы наборов данных
  • Порядок загрузки данных и Sampler
  • Загрузка данных с пакетами и без пакетов
  • Загрузка данных с одним и несколькими процессами
  • Фиксация памяти
• torch.utils.jit
• torch.utils.dlpack
  • from_dlpack()
  • to_dlpack()
• torch.utils.mobile_optimizer
  • optimize_for_mobile()
• torch.utils.model_zoo
  • load_url()
• torch.utils.tensorboard
  • SummaryWriter
• Сведения о типе
  • torch.finfo
  • torch.iinfo
• Именованные тензоры
  • Создание именованных тензоров
  • Именованные размеры
  • Семантика распространения имён
  • Явное выравнивание по именам
  • Изменение размеров
  • Поддержка Autograd
  • Текущие поддерживаемые операции и подсистемы
  • Ссылка на API именованного тензора
• Покрытие операторов именованных тензоров
  • Сохраняет имена входных данных
  • Удаляет размеры
  • Объединяет имена из входных данных
  • Переставляет размеры
  • Сжимает прочь размеры
  • Функции-фабрики
  • Функции out и варианты in-place

• torch.__config__
  • show()
  • parallel_info()
• torch._logging
  • torch._logging.set_logs

Библиотеки

• torchaudio
• TorchData
• TorchRec
• TorchServe
• torchtext
• torchvision
• PyTorch на устройствах XLA

Индексы и таблицы

• Индекс
• Индекс модулей