tf.distribute.CrossDeviceOps

Базовый класс для алгоритмов сокращения и широковещательной передачи между устройствами.

tf.distribute.CrossDeviceOps()

Основное назначение этого класса — передавать его в tf.distribute.MirroredStrategy, чтобы выбрать одну из различных реализаций межустройственного обмена данными. Предпочтительно использовать методы tf.distribute.Strategy, а не методы этого класса.

Реализации:

• tf.distribute.ReductionToOneDevice
• tf.distribute.NcclAllReduce
• tf.distribute.HierarchicalCopyAllReduce

Методы

batch_reduce

Просмотреть исходный код

batch_reduce(
    reduce_op, value_destination_pairs, options=None
)

Сокращает значения и распределяет их по целям пакетами.

См. tf.distribute.StrategyExtended.batch_reduce_to. Этот метод можно вызывать только в контексте cross-replica.

batch_reduce_implementation

Просмотреть исходный код

batch_reduce_implementation(
    reduce_op, value_destination_pairs, options
)

Реализация batch_reduce.

Переопределение этого метода полезно при реализации подкласса.

broadcast

Просмотреть исходный код

broadcast(
    tensor, destinations
)

Распространяет tensor на destinations.

Этот метод можно вызывать только в контексте cross-replica.

broadcast_implementation

Просмотреть исходный код

broadcast_implementation(
    tensor, destinations
)

Реализация broadcast.

reduce

Просмотреть исходный код

reduce(
    reduce_op, per_replica_value, destinations, options=None
)

Сокращает per_replica_value до destinations.

См. tf.distribute.StrategyExtended.reduce_to. Этот метод можно вызывать только в контексте cross-replica.

reduce_implementation

Просмотреть исходный код

reduce_implementation(
    reduce_op, per_replica_value, destinations, options
)

Реализация reduce.

Переопределение этого метода полезно при реализации подкласса.