tf.VariableAggregation

Указывает, как будет агрегирована распределенная переменная.

tf.distribute.Strategy распределяет модель, создавая несколько копий (называемых «репликами»), действующих на различных элементах входной партии в модели параллельной обработки данных. При выполнении операции обновления переменной, например var.assign_add(x), в модели необходимо определить, как комбинировать различные значения x, вычисленные в разных репликах.

• NONE: Это значение по умолчанию, приводящее к ошибке при использовании операции обновления переменной с несколькими репликами.
• SUM: Добавление обновлений по всем репликам.
• MEAN: Вычисление арифметического среднего («среднего значения») обновлений по всем репликам.
• ONLY_FIRST_REPLICA: Используется, когда каждая реплика выполняет одно и то же обновление, но обновление выполняется только один раз. Используется, например, для счётчика глобального шага.

Пример:

strategy = tf.distribute.MirroredStrategy(["GPU:0", "GPU:1"])
with strategy.scope():
  v = tf.Variable(5.0, aggregation=tf.VariableAggregation.MEAN)
@tf.function
def update_fn():
  return v.assign_add(1.0)
strategy.run(update_fn)
PerReplica:{
  0: <tf.Tensor: shape=(), dtype=float32, numpy=6.0>,
  1: <tf.Tensor: shape=(), dtype=float32, numpy=6.0>
}