tf.VariableSynchronization

Указывает, когда распределенная переменная будет синхронизирована.

• AUTO: Указывает, что синхронизация будет определяться текущим DistributionStrategy (например, при MirroredStrategy это будет ON_WRITE).
• NONE: Указывает, что будет только одна копия переменной, поэтому синхронизация не требуется.
• ON_WRITE: Указывает, что переменная будет обновляться по всем устройствам каждый раз, когда она записывается.

• ON_READ: Указывает, что переменная будет агрегирована по устройствам при чтении (например, при создании контрольной точки или при оценке операции, использующей переменную).

  Пример:

>>> temp_grad=[tf.Variable([0.], trainable=False,
...                      synchronization=tf.VariableSynchronization.ON_READ,
...                      aggregation=tf.VariableAggregation.MEAN
...                      )]