torch.cuda.comm.broadcast_coalesced

torch.cuda.comm.broadcast_coalesced(tensors, devices, buffer_size=10485760) [source]

Транслирует последовательность тензоров на указанные GPU. Маленькие тензоры сначала объединяются в буфер для уменьшения количества синхронизаций.

Параметры

• tensors (sequence) – тензоры для трансляции. Должны находиться на одном устройстве, либо CPU, либо GPU.
• devices (Iterable[torch.device, str или int]) – итерируемый список устройств GPU, между которыми нужно выполнить трансляцию.
• buffer_size (int) – максимальный размер буфера, используемого для объединения.

Возвращает

Кортеж, содержащий копии tensor, размещенные на devices.