Пакет multiprocessing - torch.multiprocessing

Управление стратегиями

torch.multiprocessing.get_all_sharing_strategies() [source]

Возвращает набор стратегий совместного использования, поддерживаемых на текущей системе.

torch.multiprocessing.get_sharing_strategy() [source]

Возвращает текущую стратегию для совместного использования CPU-тензоров.

torch.multiprocessing.set_sharing_strategy(new_strategy) [source]

Устанавливает стратегию для совместного использования CPU-тензоров.

Параметры:

new_strategy (str) — Имя выбранной стратегии. Должно быть одним из значений, возвращённых get_all_sharing_strategies().

Совместное использование CUDA-тензоров

Совместное использование CUDA-тензоров между процессами поддерживается только в Python 3, используя методы запуска spawn или forkserver.

В отличие от CPU-тензоров, процесс-отправитель должен хранить исходный тензор до тех пор, пока процесс-получатель сохраняет копию тензора. Управление ссылочным подсчётом реализовано внутри, но пользователи должны следовать рекомендациям по наилучшим практикам.

1. Освободите память как можно быстрее в процессе-получателе.

## Good
x = queue.get()
# do somethings with x
del x

## Bad
x = queue.get()
# do somethings with x
# do everything else (producer have to keep x in memory)

2. Поддерживайте работу процесса-отправителя до тех пор, пока все процессы-получатели не завершат работу. Это предотвратит ситуацию, когда процесс-отправитель освобождает память, которая всё ещё используется процессом-получателем.

## producer
# send tensors, do something
event.wait()

## consumer
# receive tensors and use them
event.set()

3. Не передавайте полученные тензоры.

# not going to work
x = queue.get()
queue_2.put(x)

# you need to create a process-local copy
x = queue.get()
x_clone = x.clone()
queue_2.put(x_clone)

# putting and getting from the same queue in the same process will likely end up with segfault
queue.put(tensor)
x = queue.get()

Стратегии совместного использования

Этот раздел даёт краткий обзор того, как работают разные стратегии совместного использования. Обратите внимание, что это относится только к CPU-тензорам — CUDA-тензоры всегда используют API CUDA, так как это единственный способ их совместного использования.

Запуск дочерних процессов

Запуск нескольких дочерних процессов для выполнения некоторой функции может быть выполнен путём создания экземпляров Process и вызова join для ожидания их завершения. Этот подход хорошо работает при работе с одним дочерним процессом, но представляет потенциальные проблемы при работе с несколькими процессами.

Именно, последовательное присоединение процессов подразумевает их последовательное завершение. Если это не так, и первый процесс не завершается, завершение процесса останется незамеченным. Также нет встроенных средств для распространения ошибок.

Функция spawn ниже устраняет эти проблемы и обрабатывает распространение ошибок, завершение в произвольном порядке и активно завершает процессы при обнаружении ошибки в одном из них.

torch.multiprocessing.spawn(fn, args=(), nprocs=1, join=True, daemon=False, start_method='spawn') [source]

Запускает nprocs процессов, которые выполняют fn с args.

Если один из процессов завершается с ненулевым кодом возврата, оставшиеся процессы убиваются, и генерируется исключение с причиной завершения. В случае, если исключение было перехвачено в дочернем процессе, оно передаётся, а его трассировка включена в исключение, генерируемое в родительском процессе.

Параметры:

• fn (функция) –

  Функция вызывается в качестве точки входа запущенного процесса. Эта функция должна быть определена на верхнем уровне модуля, чтобы её можно было сериализовать и запустить. Это требование, налагаемое многопроцессорностью.

  Функция вызывается как fn(i, *args), где i — индекс процесса, а args — переданная кортеж аргументов.

• args (кортеж) – Аргументы, передаваемые в fn.
• nprocs (целое число) – Количество процессов для запуска.
• join (булево значение) – Выполнить блокирующее присоединение ко всем процессам.
• daemon (булево значение) – Флаг демонического процесса запущенных процессов. Если установлено в True, будут созданы демонические процессы.
• start_method (строка) – (устарело) этот метод всегда будет использовать spawn в качестве метода запуска. Чтобы использовать другой метод запуска, используйте start_processes().

Возвращает:

None, если join равен True, ProcessContext, если join равен False

class torch.multiprocessing.SpawnContext [source]

Возвращается spawn(), когда вызывается с join=False.

join(timeout=None)

Пытается присоединиться к одному или нескольким процессам в этом контексте запуска. Если один из них завершился с ненулевым кодом возврата, эта функция убивает оставшиеся процессы и генерирует исключение с причиной выхода из строя первого процесса.

Возвращает True если все процессы успешно присоединились, False если есть больше процессов, которые нужно присоединить.

Параметры:

timeout (число с плавающей запятой) – Подождать столько времени, прежде чем сдаться.