tf.VariableSynchronization

Указывает, когда распределённая переменная будет синхронизирована.

• AUTO: Указывает, что синхронизация будет определяться текущим DistributionStrategy (например, с MirroredStrategy это будет ON_WRITE).
• NONE: Указывает, что существует только одна копия переменной, поэтому синхронизация не требуется.
• ON_WRITE: Указывает, что переменная будет обновляться на всех устройствах каждый раз при записи.
• ON_READ: Указывает, что переменная будет агрегирована на всех устройствах при чтении (например, при создании контрольной точки или при оценке операции, использующей переменную).