tf.VariableAggregation

Указывает, как будет агрегирована распределённая переменная.

tf.distribute.Strategy распределяет модель, создавая несколько копий (называемых "репликами"), действующих параллельно на разных элементах входной пакетной обработки. При выполнении некоторой операции обновления переменных, например, var.assign_add(x), в модели нам необходимо определить, как комбинировать различные значения для x, вычисленные в разных репликах.

• NONE: Это значение по умолчанию, которое выведет ошибку, если вы используете операцию обновления переменной с несколькими репликами.
• SUM: Добавить обновления по всем репликам.
• MEAN: Возьмите арифметическое среднее ("среднее значение") обновлений по всем репликам.
• ONLY_FIRST_REPLICA: Используется, когда каждая реплика выполняет одно и то же обновление, но мы хотим выполнить обновление только один раз. Применяется, например, для счётчика глобальных шагов.