tf.distribute.HierarchicalCopyAllReduce

Редукция с помощью иерархического копирования all-reduce.

Наследуется от: AllReduceCrossDeviceOps

Псевдонимы

Псевдонимы для миграции

См. Руководство по миграции для получения более подробной информации.

tf.compat.v1.distribute.HierarchicalCopyAllReduce, `tf.compat.v2.distribute.HierarchicalCopyAllReduce`

tf.distribute.HierarchicalCopyAllReduce(
    num_packs=1
)

Выполняет редукцию к одному GPU по краям некоторой иерархии и транслирует обратно на каждый GPU по тому же пути. Перед выполнением all-reduce тензоры будут переупакованы или агрегированы для повышения эффективности межсетевого транспорта.

Это редукция, созданная для Nvidia DGX-1, которая предполагает, что GPU подключены так же, как и на машине DGX-1. Если у вас есть другие межсетевые соединения GPU, вероятно, это будет медленнее, чем tf.distribute.ReductionToOneDevice.

Аргументы
`num_packs`	значения будут упакованы в этом количестве разделов. `num_packs` должно быть больше или равно 0. Когда оно равно нулю, никакой упаковки не выполняется.

Возбуждает
ValueError, если `num_packs` отрицательно.

Методы

`batch_reduce`

Просмотреть исходный код

batch_reduce(
    reduce_op, value_destination_pairs
)

Редукция объектов PerReplica в пакете.

Редукция каждого первого элемента в value_destination_pairs к каждому второму элементу, который указывает на места назначения.

Аргументы
`reduce_op`	Указывает, как будет выполняться редукция per_replica_value. Допустимые значения: `tf.distribute.ReduceOp.SUM`, `tf.distribute.ReduceOp.MEAN`.
`value_destination_pairs`	список или кортеж кортежей объектов PerReplica (или тензоров с заданным устройством, если имеется одно устройство) и мест назначения.

Возвращает
список объектов Mirrored.

Возбуждает
`ValueError`	если `value_destination_pairs` не является списком или кортежем кортежей объектов PerReplica и мест назначения

`broadcast`

Просмотреть исходный код

broadcast(
    tensor, destinations
)

Трансляция tensor в места назначения.

Аргументы
`tensor`	тензор для трансляции.
`destinations`	места назначения для трансляции.

Возвращает
объект Mirrored.

`reduce`

Просмотреть исходный код

reduce(
    reduce_op, per_replica_value, destinations
)

Редукция per_replica_value к destinations.

Выполняет операцию редукции, определенную в reduce_op, и помещает результат в destinations.

Аргументы
`reduce_op`	Указывает, как будет выполняться редукция per_replica_value. Допустимые значения: `tf.distribute.ReduceOp.SUM`, `tf.distribute.ReduceOp.MEAN`.
`per_replica_value`	объект PerReplica или тензор с заданным устройством.
`destinations`	места назначения для редукции.

Возвращает
объект Mirrored.

Возбуждает
`ValueError`	если per_replica_value не может быть преобразован в объект PerReplica.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/distribute/HierarchicalCopyAllReduce