Пакет многопроцессорной обработки — torch.multiprocessing

Управление стратегиями

torch.multiprocessing.get_all_sharing_strategies() [исходный код]

Возвращает набор стратегий совместного использования, поддерживаемых в текущей системе.

torch.multiprocessing.get_sharing_strategy() [исходный код]

Возвращает текущую стратегию совместного использования тензоров CPU.

torch.multiprocessing.set_sharing_strategy(new_strategy) [исходный код]

Задает стратегию совместного использования тензоров CPU.

Параметры:

new_strategy (str) – Название выбранной стратегии. Должно совпадать с одним из значений, возвращаемых функцией get_all_sharing_strategies().

Совместное использование тензоров CUDA

Совместное использование тензоров CUDA между процессами поддерживается только в Python 3 при использовании методов запуска spawn или forkserver.

В отличие от тензоров CPU, отправляющий процесс должен сохранять исходный тензор, пока принимающий процесс хранит его копию. Подсчет ссылок реализован внутри, однако для его корректной работы пользователям необходимо придерживаться следующих рекомендаций.

1. Как можно скорее освобождайте память в процессе-потребителе.

## Good
x = queue.get()
# do somethings with x
del x

## Bad
x = queue.get()
# do somethings with x
# do everything else (producer have to keep x in memory)

2. Не завершайте процесс-производитель, пока не выйдут все процессы-потребители. Это предотвратит ситуацию, когда процесс-производитель освобождает память, которая все еще используется процессом-потребителем.

## producer
# send tensors, do something
event.wait()

## consumer
# receive tensors and use them
event.set()

3. Не передавайте полученные тензоры дальше.

# not going to work
x = queue.get()
queue_2.put(x)

# you need to create a process-local copy
x = queue.get()
x_clone = x.clone()
queue_2.put(x_clone)

# putting and getting from the same queue in the same process will likely end up with segfault
queue.put(tensor)
x = queue.get()

Стратегии совместного использования

В этом разделе кратко описано, как работают различные стратегии совместного использования. Обратите внимание, что они применяются только к тензорам CPU: для тензоров CUDA всегда используется API CUDA, поскольку это единственный способ совместно использовать их.

Запуск дочерних процессов

Для выполнения некоторой функции в нескольких дочерних процессах можно создать экземпляры Process и вызвать join, чтобы дождаться их завершения. Этот подход хорошо работает с одним дочерним процессом, но при работе с несколькими процессами могут возникнуть проблемы.

В частности, последовательное присоединение процессов означает, что они будут завершаться последовательно. Если это не так и первый процесс не завершится, завершение остальных процессов останется незамеченным. Кроме того, встроенных средств для передачи ошибок нет.

Функция spawn, приведенная ниже, решает эти проблемы: она обеспечивает передачу ошибок, обрабатывает завершение процессов не по порядку и активно завершает процессы при обнаружении ошибки в одном из них.

torch.multiprocessing.spawn.spawn(fn, args=(), nprocs=1, join=True, daemon=False, start_method='spawn') [исходный код]

Запускает nprocs процессов, выполняющих fn с аргументами args.

Если один из процессов завершится с ненулевым кодом возврата, остальные процессы будут принудительно завершены, а будет возбуждено исключение с причиной завершения. Если в дочернем процессе было перехвачено исключение, оно передается вызывающему коду, а его трассировка включается в исключение, возбужденное в родительском процессе.

Параметры:

• fn (функция) –

  Функция вызывается как точка входа запущенного процесса. Она должна быть определена на верхнем уровне модуля, чтобы ее можно было сериализовать с помощью pickle и запустить. Это требование, накладываемое модулем multiprocessing.

  Функция вызывается как fn(i, *args), где i — индекс процесса, а args — переданный кортеж аргументов.

• args (tuple) – Аргументы, передаваемые в fn.
• nprocs (int) – Число запускаемых процессов.
• join (bool) – Блокирующее ожидание завершения всех процессов.
• daemon (bool) – Флаг демона для запускаемых процессов. Если установлено значение True, будут созданы процессы-демоны.
• start_method (str) – (устарел) этот метод всегда использует spawn в качестве метода запуска. Чтобы использовать другой метод запуска, воспользуйтесь start_processes().

Возвращает:

None, если join имеет значение True, ProcessContext, если join имеет значение False

class torch.multiprocessing.SpawnContext [исходный код]

Возвращается функцией spawn(), если она вызвана с join=False.

join(timeout=None, grace_period=None) [исходный код]

Ожидает завершения одного или нескольких процессов в контексте запуска.

Пытается дождаться завершения одного или нескольких процессов в этом контексте запуска. Если один из них завершился с ненулевым кодом возврата, функция принудительно завершает остальные процессы (при необходимости предоставляя им время на завершение) и возбуждает исключение с причиной завершения первого процесса.

Возвращает True, если все процессы успешно завершили работу, и False, если остались процессы, завершения которых нужно дождаться.

Параметры:

• timeout (float) – Время ожидания в секундах, по истечении которого ожидание прекращается.
• grace_period (float) – Если какой-либо процесс завершится с ошибкой, столько секунд другие процессы будут ожидать перед завершением, чтобы успеть завершиться корректно. Если они все еще не завершились, перед их принудительным завершением выжидается еще один льготный период.

torch.multiprocessing.pool