tf.VariableSynchronization

Указывает, когда распределённая переменная будет синхронизирована.

• AUTO: Указывает, что синхронизация будет определяться текущим DistributionStrategy (например, с MirroredStrategy это будет ON_WRITE).
• NONE: Указывает, что будет только одна копия переменной, поэтому синхронизация не требуется.
• ON_WRITE: Указывает, что переменная будет обновляться на всех устройствах каждый раз при записи.
• ON_READ: Указывает, что переменная будет агрегирована по устройствам при чтении (например, при создании контрольной точки или при вычислении операции, использующей переменную).

Переменные класса

• AUTO
• NONE
• ON_READ
• ON_WRITE