tf.distribute.HierarchicalCopyAllReduce

Снижение с использованием иерархического копирования all-reduce.

Просмотр псевдонимов

Псевдонимы совместимости для миграции

См. Руководство по миграции для получения более подробной информации.

tf.compat.v1.distribute.HierarchicalCopyAllReduce

tf.distribute.HierarchicalCopyAllReduce(
    num_packs=1
)

Он сводится к одному GPU по рёбрам в некоторой иерархии и транслируется обратно на каждый GPU по тому же пути. Перед выполнением all-reduce тензоры будут переупакованы или агрегированы для более эффективной межсетевой транспортировки.

Это сокращение создано для Nvidia DGX-1, которое предполагает, что GPU подключены так же, как и на машине DGX-1. Если у вас есть другие межсоединения GPU, скорее всего, оно будет медленнее, чем tf.distribute.ReductionToOneDevice.

Аргументы
`num_packs`	значения будут упакованы в столько же разбиений. `num_packs` должно быть больше или равно 0. Когда оно равно нулю, упаковка не выполняется.

Возбуждает
ValueError, если `num_packs` отрицательно.

Методы

`batch_reduce`

Просмотреть исходный код

batch_reduce(
    reduce_op, value_destination_pairs, experimental_hints=None
)

Сведение PerReplica объектов в пакет.

Сведение каждого первого элемента в value_destination_pairs к каждому второму элементу, который указывает на пункты назначения.

Это может быть быстрее, чем несколько отдельных reduce операций, потому что мы можем объединить несколько тензоров в один или несколько пакетов перед выполнением уменьшения.

Аргументы
`reduce_op`	Экземпляр `tf.distribute.ReduceOp`, который указывает, как `per_replica_value` будет уменьшаться.
`value_destination_pairs`	Список или кортеж объектов PerReplica (или тензоров с установленным устройством, если одно устройство) и пунктов назначения.
`experimental_hints`	A `tf.distrbute.experimental.CollectiveHints`. Указания для выполнения коллективных операций.

Возвращает
список объектов Mirrored.

Возбуждает
`ValueError`	если `value_destination_pairs` не является итерируемым наборами кортежей объектов PerReplica и пунктов назначения.

`broadcast`

Просмотреть исходный код

broadcast(
    tensor, destinations
)

Транслировать tensor в пункты назначения.

Аргументы
`tensor`	тензор для трансляции.
`destinations`	пункты назначения трансляции.

Возвращает
объект Mirrored.

`reduce`

Просмотреть исходный код

reduce(
    reduce_op, per_replica_value, destinations, experimental_hints=None
)

Свести per_replica_value к destinations.

Выполняет операцию сокращения, определенную reduce_op, и помещает результат в destinations.

Аргументы
`reduce_op`	Экземпляр `tf.distribute.ReduceOp`, который указывает, как per_replica_value будет уменьшаться.
`per_replica_value`	Объект `tf.distribute.DistributedValues` или тензор с установленным устройством.
`destinations`	пункты назначения уменьшения.
`experimental_hints`	A `tf.distrbute.experimental.CollectiveHints`. Указания для выполнения коллективных операций.

Возвращает
объект Mirrored.

Возбуждает
`ValueError`	если per_replica_value нельзя преобразовать в объект PerReplica или если пункты назначения не являются строками, переменными или DistributedValues

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/distribute/HierarchicalCopyAllReduce