tf.contrib.distribute.AllReduceCrossDeviceOps
Сведение с помощью all-reduce.
Наследуется от: CrossDeviceOps
tf.contrib.distribute.AllReduceCrossDeviceOps(
all_reduce_alg='nccl', num_packs=1, agg_small_grads_max_bytes=0,
agg_small_grads_max_group=10
)
| Аргументы |
|---|
all_reduce_alg | алгоритм all-reduce для использования, в настоящее время поддерживаются только "nccl" или "hierarchical_copy". |
num_packs | см. выше. |
agg_small_grads_max_bytes | см. выше. |
agg_small_grads_max_group | см. выше. |
Методы
batch_reduce
Просмотреть исходный код
batch_reduce(
reduce_op, value_destination_pairs
)
Сведение объектов PerReplica в пакете.
Сведение каждого первого элемента в value_destination_pairs к каждому второму элементу, который указывает на места назначения.
| Аргументы |
|---|
reduce_op | Указывает, как будет выполняться сведение per_replica_value. Допустимые значения: tf.distribute.ReduceOp.SUM, tf.distribute.ReduceOp.MEAN. |
value_destination_pairs | список или кортеж кортежей объектов PerReplica (или тензоров с установленным устройством, если есть одно устройство) и мест назначения. |
| Возвращаемое значение |
|---|
| список объектов Mirrored. |
| Исключения |
|---|
ValueError | если value_destination_pairs не является списком или кортежем кортежей объектов PerReplica и мест назначения |
broadcast
Просмотреть исходный код
broadcast(
tensor, destinations
)
Трансляция tensor в места назначения.
| Аргументы |
|---|
tensor | тензор для трансляции. |
destinations | места назначения для трансляции. |
| Возвращаемое значение |
|---|
| объект Mirrored. |
reduce
Просмотреть исходный код
reduce(
reduce_op, per_replica_value, destinations
)
Сведение per_replica_value к destinations.
Выполняется операция сведения, определенная reduce_op, и результат помещается в destinations.
| Аргументы |
|---|
reduce_op | Указывает, как будет выполняться сведение per_replica_value. Допустимые значения: tf.distribute.ReduceOp.SUM, tf.distribute.ReduceOp.MEAN. |
per_replica_value | объект PerReplica или тензор с установленным устройством. |
destinations | места назначения для сведения. |
| Возвращаемое значение |
|---|
| объект Mirrored. |
| Исключения |
|---|
ValueError | если объект per_replica_value нельзя преобразовать в объект PerReplica. |
