tf.VariableAggregation

Указывает, как будет агрегирована распределённая переменная.

tf.distribute.Strategy распределяет модель, создавая несколько копий (называемых «репликами»), действующих в режиме параллельного обработки данных на разных элементах входной партии. При выполнении операции обновления переменной, например, var.assign_add(x), в модели необходимо определить, как комбинировать различные значения для x, вычисленные в разных репликах.

• NONE: Это значение по умолчанию, которое возвращает ошибку при использовании операции обновления переменной с несколькими репликами.
• SUM: Добавление обновлений по всем репликам.
• MEAN: Вычисление арифметического среднего («среднего значения») обновлений по всем репликам.
• ONLY_FIRST_REPLICA: Используется, когда каждая реплика выполняет одно и то же обновление, но мы хотим выполнить это обновление только один раз. Например, используется для счётчика глобального шага.

Переменные класса

• MEAN
• NONE
• ONLY_FIRST_REPLICA
• SUM