tf.distribute.NcclAllReduce

Редукция с использованием NCCL all-reduce.

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения более подробной информации.

tf.compat.v1.distribute.NcclAllReduce

tf.distribute.NcclAllReduce(
    num_packs=1
)

Аргументы
`num_packs`	значения будут упакованы в столько разбиений. `num_packs` должно быть больше или равно 0. Когда оно равно нулю, упаковка не выполняется.

Исключения
ValueError, если `num_packs` отрицательно.

Методы

`batch_reduce`

Просмотреть исходный код

batch_reduce(
    reduce_op, value_destination_pairs, experimental_hints=None
)

Редукция объектов PerReplica в пакете.

Редуцируйте каждый первый элемент в value_destination_pairs к каждому второму элементу, который указывает пункты назначения.

Это может быть быстрее, чем несколько отдельных reduces, потому что мы можем объединить несколько тензоров в один или несколько пакетов перед редукцией.

Аргументы
`reduce_op`	Экземпляр `tf.distribute.ReduceOp`, который указывает, как будет редуцировано `per_replica_value`.
`value_destination_pairs`	Список или кортеж объектов PerReplica (или тензоров с заданным устройством, если есть одно устройство) и пунктов назначения.
`experimental_hints`	`tf.distrbute.experimental.CollectiveHints`. Подсказки для выполнения коллективных операций.

Возвращаемое значение
список объектов Mirrored.

Исключения
`ValueError`	если `value_destination_pairs` не является итерируемым кортежем объектов PerReplica и пунктов назначения.

`broadcast`

Просмотреть исходный код

broadcast(
    tensor, destinations
)

Распространение tensor в пункты назначения.

Аргументы
`tensor`	тензор для распространения.
`destinations`	пункты назначения для распространения.

Возвращаемое значение
объект Mirrored.

`reduce`

Просмотреть исходный код

reduce(
    reduce_op, per_replica_value, destinations, experimental_hints=None
)

Редукция per_replica_value до destinations.

Выполняет операцию редукции, определенную reduce_op, и помещает результат в destinations.

Аргументы
`reduce_op`	Экземпляр `tf.distribute.ReduceOp`, который указывает, как будет редуцировано per_replica_value.
`per_replica_value`	Объект `tf.distribute.DistributedValues` или тензор с заданным устройством.
`destinations`	пункты назначения для редукции.
`experimental_hints`	`tf.distrbute.experimental.CollectiveHints`. Подсказки для выполнения коллективных операций.

Возвращаемое значение
объект Mirrored.

Исключения
`ValueError`	если per_replica_value не может быть преобразован в объект PerReplica или если пункты назначения не являются строками, переменными или DistributedValues

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/distribute/NcclAllReduce