tf.VariableAggregation

Указывает, как будет агрегироваться распределённая переменная.

tf.distribute.Strategy распределяет модель, создавая несколько копий (называемых "репликами"), выполняющих параллельную обработку данных на разных элементах входной выборки. При выполнении операции обновления переменной, например var.assign_add(x), в модели, нам необходимо определить, как комбинировать различные значения для x, вычисленные в разных репликах.

• NONE: Это значение по умолчанию, вызывающее ошибку при использовании операции обновления переменной с несколькими репликами.
• SUM: Добавить обновления по всем репликам.
• MEAN: Взять среднее арифметическое ("среднее значение") обновлений по всем репликам.
• ONLY_FIRST_REPLICA: Используется, когда каждая реплика выполняет одно и то же обновление, но нам нужно выполнить это обновление только один раз. Например, используется для счётчика глобального шага.