tf.distribute.CrossDeviceOps

Базовый класс для алгоритмов кросс-устройства по сокращению и трансляции.

tf.distribute.CrossDeviceOps()

Основное назначение этого класса — передача в tf.distribute.MirroredStrategy для выбора между различными реализациями межпроцессорной коммуникации. Предпочтительнее использовать методы tf.distribute.Strategy, а не методы этого класса.

Реализации:

• tf.distribute.ReductionToOneDevice
• tf.distribute.NcclAllReduce
• tf.distribute.HierarchicalCopyAllReduce

Методы

batch_reduce

Просмотреть исходный код

batch_reduce(
    reduce_op, value_destination_pairs, options=None
)

Сведение значений к местам назначения в группах.

См. tf.distribute.StrategyExtended.batch_reduce_to. Это можно вызывать только в контексте кросс-реплик.

batch_reduce_implementation

Просмотреть исходный код

batch_reduce_implementation(
    reduce_op, value_destination_pairs, options
)

Реализация batch_reduce.

Переопределение этого метода полезно для разработчиков подклассов.

broadcast

Просмотреть исходный код

broadcast(
    tensor, destinations
)

Трансляция tensor в destinations.

Это можно вызывать только в контексте кросс-реплик.

broadcast_implementation

Просмотреть исходный код

broadcast_implementation(
    tensor, destinations
)

Реализация broadcast.

reduce

Просмотреть исходный код

reduce(
    reduce_op, per_replica_value, destinations, options=None
)

Сокращение per_replica_value до destinations.

См. tf.distribute.StrategyExtended.reduce_to. Это можно вызывать только в контексте кросс-реплик.

reduce_implementation

Просмотреть исходный код

reduce_implementation(
    reduce_op, per_replica_value, destinations, options
)

Реализация reduce.

Переопределение этого метода полезно для разработчиков подклассов.