tf.VariableSynchronization

Указывает, когда будет синхронизирована распределенная переменная.

• AUTO: Синхронизация определяется текущим значением DistributionStrategy (например, с MirroredStrategy это будет ON_WRITE).
• NONE: Указывает, что будет существовать только одна копия переменной, поэтому синхронизация не требуется.
• ON_WRITE: Указывает, что переменная будет обновляться на всех устройствах при каждой записи.

• ON_READ: Указывает, что при чтении переменная будет агрегироваться на всех устройствах (например, при создании контрольной точки или вычислении операции, использующей эту переменную).

  Пример:

>>> temp_grad=[tf.Variable([0.], trainable=False,
...                      synchronization=tf.VariableSynchronization.ON_READ,
...                      aggregation=tf.VariableAggregation.MEAN
...                      )]