tf.VariableAggregation

Указывает, как будет агрегироваться распределенная переменная.

tf.distribute.Strategy распределяет модель, создавая несколько копий (называемых «репликами»), выполняющих вычисления в режиме параллельной обработки данных на различных элементах входной пакетной выборки. При выполнении какой-либо операции обновления переменных, например, var.assign_add(x), в модели, нам необходимо определить, как комбинировать различные значения для x, вычисленные в различных репликах.

• NONE: Это значение по умолчанию, которое приводит к ошибке, если используется операция обновления переменных с несколькими репликами.
• SUM: Добавить обновления по всем репликам.
• MEAN: Взять арифметическое среднее («среднее значение») обновлений по всем репликам.
• ONLY_FIRST_REPLICA: Используется, когда каждая реплика выполняет одно и то же обновление, но мы хотим выполнить обновление только один раз. Используется, например, для счётчика глобального шага.
• ONLY_FIRST_TOWER: Устаревший псевдоним для ONLY_FIRST_REPLICA.

Переменные класса

• MEAN
• NONE
• ONLY_FIRST_REPLICA
• SUM