torch.cuda.comm.broadcast_coalesced

torch.cuda.comm.broadcast_coalesced(tensors, devices, buffer_size=10485760) [source]

Транслирует последовательность тензоров на указанные GPU. Небольшие тензоры сначала объединяются в буфер, чтобы уменьшить количество синхронизаций.

Параметры:

• tensors (sequence) – тензоры для трансляции. Должны находиться на одном устройстве, либо CPU, либо GPU.
• devices (Iterable[torch.device, str or int]) – итерируемый список устройств GPU, между которыми должна происходить трансляция.
• buffer_size (int) – максимальный размер буфера, используемого для объединения.

Возвращает:

Кортеж, содержащий копии tensor, размещённые на devices.