Spec-Zone.ru › TensorFlow 2.9

tf.distribute.CrossDeviceOps

Просмотреть исходный код на GitHub

Базовый класс для алгоритмов кросс-устройства сведения и трансляции.

Просмотр псевдонимов

Псевдонимы совместимости для миграции

См. руководство по миграции для получения дополнительной информации.

tf.compat.v1.distribute.CrossDeviceOps

tf.distribute.CrossDeviceOps()

Основное назначение этого класса — передача в tf.distribute.MirroredStrategy для выбора между различными реализациями межпроцессорной связи. Предпочтительнее использовать методы tf.distribute.Strategy, а не методы этого класса.

Реализации:

  • tf.distribute.ReductionToOneDevice
  • tf.distribute.NcclAllReduce
  • tf.distribute.HierarchicalCopyAllReduce

Методы

batch_reduce

Просмотреть исходный код

batch_reduce(
    reduce_op, value_destination_pairs, options=None
)

Сведение значений к местам назначения группами.

См. tf.distribute.StrategyExtended.batch_reduce_to. Это можно вызывать только в контексте кросс-репликации.

Аргументы
reduce_op tf.distribute.ReduceOp, определяющий, как следует комбинировать значения.
value_destination_pairs Последовательность пар (значение, места назначения). См. tf.distribute.CrossDeviceOps.reduce для описаний.
options tf.distribute.experimental.CommunicationOptions. См. tf.distribute.experimental.CommunicationOptions для подробностей.
Возвращаемые значения
Список tf.Tensor или tf.distribute.DistributedValues, по одному на пару в value_destination_pairs.
Исключения
ValueError если value_destination_pairs не является итерируемым списком кортежей tf.distribute.DistributedValues и мест назначения.

batch_reduce_implementation

Просмотреть исходный код

batch_reduce_implementation(
    reduce_op, value_destination_pairs, options
)

Реализация batch_reduce.

Переопределение этого метода полезно для разработчиков подклассов.

Аргументы
reduce_op tf.distribute.ReduceOp, определяющий, как следует комбинировать значения.
value_destination_pairs Последовательность пар (значение, места назначения). См. reduce для описаний.
options tf.distribute.experimental.CommunicationOptions. См. tf.distribute.experimental.CommunicationOptions для подробностей.
Возвращаемые значения
Список tf.Tensor или tf.distribute.DistributedValues, по одному на пару в value_destination_pairs.
Исключения
ValueError если value_destination_pairs не является итерируемым списком кортежей tf.distribute.DistributedValues и мест назначения.

broadcast

Просмотреть исходный код

broadcast(
    tensor, destinations
)

Трансляция tensor в destinations.

Это можно вызывать только в контексте кросс-репликации.

Аргументы
tensor Объект типа tf.Tensor. Передаваемое значение.
destinations tf.distribute.DistributedValues, tf.Variable, tf.Tensor или строка устройства. Указывает устройства, в которые необходимо выполнить трансляцию. Обратите внимание, что если это tf.Variable, значение транслируется на устройства этого объекта. Этот метод не обновляет переменную.
Возвращаемые значения
tf.Tensor или tf.distribute.DistributedValues.

broadcast_implementation

Просмотреть исходный код

broadcast_implementation(
    tensor, destinations
)

Реализация broadcast.

Аргументы
tensor Объект типа tf.Tensor. Передаваемое значение.
destinations tf.distribute.DistributedValues, tf.Variable, tf.Tensor или строка устройства. Указывает устройства, в которые необходимо выполнить трансляцию. destinations. Обратите внимание, что если это tf.Variable, значение транслируется на устройства этого объекта. Этот метод не обновляет переменную.
Возвращаемые значения
tf.Tensor или tf.distribute.DistributedValues.

reduce

Просмотреть исходный код

reduce(
    reduce_op, per_replica_value, destinations, options=None
)

Сведение per_replica_value к destinations.

См. tf.distribute.StrategyExtended.reduce_to. Это можно вызывать только в контексте кросс-репликации.

Аргументы
reduce_op tf.distribute.ReduceOp, определяющий, как следует комбинировать значения.
per_replica_value tf.distribute.DistributedValues или объект типа tf.Tensor.
destinations tf.distribute.DistributedValues, tf.Variable, tf.Tensor или строка устройства. Указывает устройства, к которым нужно свести. Для выполнения all-reduce передайте одинаковые значения value и destinations. Обратите внимание, что если это tf.Variable, значение сводится к устройствам этого объекта, и этот метод не обновляет переменную.
options tf.distribute.experimental.CommunicationOptions. См. tf.distribute.experimental.CommunicationOptions для подробностей.
Возвращаемые значения
tf.Tensor или tf.distribute.DistributedValues.
Исключения
ValueError если per_replica_value не может быть преобразован в tf.distribute.DistributedValues или если destinations не является строкой, tf.Variable или tf.distribute.DistributedValues.

reduce_implementation

Просмотреть исходный код

reduce_implementation(
    reduce_op, per_replica_value, destinations, options
)

Реализация reduce.

Переопределение этого метода полезно для разработчиков подклассов.

Аргументы
reduce_op оператор tf.distribute.ReduceOp, определяющий, как следует комбинировать значения.
per_replica_value объект типа tf.distribute.DistributedValues или подобный объекту tf.Tensor.
destinations объект типа tf.distribute.DistributedValues, tf.Variable или tf.Tensor, или строка устройства. Указывает устройства для сведения. Для выполнения all-reduce передайте это же значение в value и destinations. Обратите внимание, что если это tf.Variable, значение сводится к устройствам этой переменной; этот метод не обновляет переменную.
options объект tf.distribute.experimental.CommunicationOptions. Подробнее см. в tf.distribute.experimental.CommunicationOptions.
Возвращаемое значение
Объект tf.Tensor или tf.distribute.DistributedValues.
Исключения
ValueError если значение per_replica_value не может быть преобразовано в tf.distribute.DistributedValues, или если destinations не является строкой, tf.Variable или tf.distribute.DistributedValues.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/distribute/CrossDeviceOps

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API