tf.distribute.CrossDeviceOps
| Просмотреть исходный код на GitHub |
Базовый класс для алгоритмов кросс-устройства сведения и трансляции.
tf.distribute.CrossDeviceOps()
Основное назначение этого класса — передача в tf.distribute.MirroredStrategy для выбора между различными реализациями межпроцессорной связи. Предпочтительнее использовать методы tf.distribute.Strategy, а не методы этого класса.
Реализации:
tf.distribute.ReductionToOneDevicetf.distribute.NcclAllReducetf.distribute.HierarchicalCopyAllReduce
Методы
batch_reduce
batch_reduce(
reduce_op, value_destination_pairs, options=None
)
Сведение значений к местам назначения группами.
См. tf.distribute.StrategyExtended.batch_reduce_to. Это можно вызывать только в контексте кросс-репликации.
| Аргументы | |
|---|---|
reduce_op | tf.distribute.ReduceOp, определяющий, как следует комбинировать значения. |
value_destination_pairs | Последовательность пар (значение, места назначения). См. tf.distribute.CrossDeviceOps.reduce для описаний. |
options | tf.distribute.experimental.CommunicationOptions. См. tf.distribute.experimental.CommunicationOptions для подробностей. |
| Возвращаемые значения | |
|---|---|
Список tf.Tensor или tf.distribute.DistributedValues, по одному на пару в value_destination_pairs. |
| Исключения | |
|---|---|
ValueError | если value_destination_pairs не является итерируемым списком кортежей tf.distribute.DistributedValues и мест назначения. |
batch_reduce_implementation
batch_reduce_implementation(
reduce_op, value_destination_pairs, options
)
Реализация batch_reduce.
Переопределение этого метода полезно для разработчиков подклассов.
| Аргументы | |
|---|---|
reduce_op | tf.distribute.ReduceOp, определяющий, как следует комбинировать значения. |
value_destination_pairs | Последовательность пар (значение, места назначения). См. reduce для описаний. |
options | tf.distribute.experimental.CommunicationOptions. См. tf.distribute.experimental.CommunicationOptions для подробностей. |
| Возвращаемые значения | |
|---|---|
Список tf.Tensor или tf.distribute.DistributedValues, по одному на пару в value_destination_pairs. |
| Исключения | |
|---|---|
ValueError | если value_destination_pairs не является итерируемым списком кортежей tf.distribute.DistributedValues и мест назначения. |
broadcast
broadcast(
tensor, destinations
)
Трансляция tensor в destinations.
Это можно вызывать только в контексте кросс-репликации.
| Аргументы | |
|---|---|
tensor | Объект типа tf.Tensor. Передаваемое значение. |
destinations | tf.distribute.DistributedValues, tf.Variable, tf.Tensor или строка устройства. Указывает устройства, в которые необходимо выполнить трансляцию. Обратите внимание, что если это tf.Variable, значение транслируется на устройства этого объекта. Этот метод не обновляет переменную. |
| Возвращаемые значения | |
|---|---|
tf.Tensor или tf.distribute.DistributedValues. |
broadcast_implementation
broadcast_implementation(
tensor, destinations
)
Реализация broadcast.
| Аргументы | |
|---|---|
tensor | Объект типа tf.Tensor. Передаваемое значение. |
destinations | tf.distribute.DistributedValues, tf.Variable, tf.Tensor или строка устройства. Указывает устройства, в которые необходимо выполнить трансляцию. destinations. Обратите внимание, что если это tf.Variable, значение транслируется на устройства этого объекта. Этот метод не обновляет переменную. |
| Возвращаемые значения | |
|---|---|
tf.Tensor или tf.distribute.DistributedValues. |
reduce
reduce(
reduce_op, per_replica_value, destinations, options=None
)
Сведение per_replica_value к destinations.
См. tf.distribute.StrategyExtended.reduce_to. Это можно вызывать только в контексте кросс-репликации.
| Аргументы | |
|---|---|
reduce_op | tf.distribute.ReduceOp, определяющий, как следует комбинировать значения. |
per_replica_value | tf.distribute.DistributedValues или объект типа tf.Tensor. |
destinations | tf.distribute.DistributedValues, tf.Variable, tf.Tensor или строка устройства. Указывает устройства, к которым нужно свести. Для выполнения all-reduce передайте одинаковые значения value и destinations. Обратите внимание, что если это tf.Variable, значение сводится к устройствам этого объекта, и этот метод не обновляет переменную. |
options | tf.distribute.experimental.CommunicationOptions. См. tf.distribute.experimental.CommunicationOptions для подробностей. |
| Возвращаемые значения | |
|---|---|
tf.Tensor или tf.distribute.DistributedValues. |
| Исключения | |
|---|---|
ValueError | если per_replica_value не может быть преобразован в tf.distribute.DistributedValues или если destinations не является строкой, tf.Variable или tf.distribute.DistributedValues. |
reduce_implementation
reduce_implementation(
reduce_op, per_replica_value, destinations, options
)
Реализация reduce.
Переопределение этого метода полезно для разработчиков подклассов.
| Аргументы | |
|---|---|
reduce_op | оператор tf.distribute.ReduceOp, определяющий, как следует комбинировать значения. |
per_replica_value | объект типа tf.distribute.DistributedValues или подобный объекту tf.Tensor. |
destinations | объект типа tf.distribute.DistributedValues, tf.Variable или tf.Tensor, или строка устройства. Указывает устройства для сведения. Для выполнения all-reduce передайте это же значение в value и destinations. Обратите внимание, что если это tf.Variable, значение сводится к устройствам этой переменной; этот метод не обновляет переменную. |
options | объект tf.distribute.experimental.CommunicationOptions. Подробнее см. в tf.distribute.experimental.CommunicationOptions. |
| Возвращаемое значение | |
|---|---|
Объект tf.Tensor или tf.distribute.DistributedValues. |
| Исключения | |
|---|---|
ValueError | если значение per_replica_value не может быть преобразовано в tf.distribute.DistributedValues, или если destinations не является строкой, tf.Variable или tf.distribute.DistributedValues. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/distribute/CrossDeviceOps