tf.raw_ops.CrossReplicaSum
Операция для суммирования входных данных между реплицированными экземплярами TPU.
tf.raw_ops.CrossReplicaSum(
input, group_assignment, name=None
)
Каждый экземпляр предоставляет собственные входные данные.
Например, предположим, что имеется 8 экземпляров TPU: [A, B, C, D, E, F, G, H]. Передача group_assignment=[[0,2,4,6],[1,3,5,7]] задаёт A, C, E, G как группу 0, а B, D, F, H — как группу 1. Таким образом, получаем следующие выходные данные: [A+C+E+G, B+D+F+H, A+C+E+G, B+D+F+H, A+C+E+G, B+D+F+H, A+C+E+G, B+D+F+H].
| Аргументы | |
|---|---|
input | Объект Tensor. Должен иметь один из следующих типов: half, bfloat16, float32, float64, int32, uint32. Локальные входные данные для суммирования. |
group_assignment | Объект Tensor типа int32. Тензор int32 с формой [num_groups, num_replicas_per_group]. group_assignment[i] обозначает идентификаторы реплик в i-й подгруппе. |
name | Имя операции (необязательно). |
| Возвращает | |
|---|---|
Объект Tensor. Имеет тот же тип, что и input. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/raw_ops/CrossReplicaSum
