tf.keras.layers.experimental.SyncBatchNormalization

Синхронное нормализация и масштабирование входных данных или активаций.

Наследуется от: Layer, Module

tf.keras.layers.experimental.SyncBatchNormalization(
    axis=-1,
    momentum=0.99,
    epsilon=0.001,
    center=True,
    scale=True,
    beta_initializer='zeros',
    gamma_initializer='ones',
    moving_mean_initializer='zeros',
    moving_variance_initializer='ones',
    beta_regularizer=None,
    gamma_regularizer=None,
    beta_constraint=None,
    gamma_constraint=None,
    **kwargs
)

Применяет пакетную нормализацию к активациям предыдущего слоя в каждом пакете, синхронизируя глобальные статистические данные по всем устройствам, которые обучают модель. Для получения подробной информации о пакетной нормализации см. документацию по слою tf.keras.layers.BatchNormalization.

Если этот слой используется при использовании стратегии tf.distribute для обучения моделей на нескольких устройствах/рабочих узлах, будет вызвана функция allreduce для агрегирования статистических данных о партиях на всех репликах на каждом шаге обучения. Без стратегии tf.distribute этот слой ведет себя как обычный слой tf.keras.layers.BatchNormalization.

Пример использования:

strategy = tf.distribute.MirroredStrategy()

with strategy.scope():
  model = tf.keras.Sequential()
  model.add(tf.keras.layers.Dense(16))
  model.add(tf.keras.layers.experimental.SyncBatchNormalization())

Аргументы вызова:

• inputs: Входной тензор (любого ранга).
• training: Булево значение Python, указывающее, должен ли слой работать в режиме обучения или в режиме вывода.
  • training=True: Слой будет нормализовать свои входные данные, используя среднее значение и дисперсию текущей партии входных данных.
  • training=False: Слой будет нормализовать свои входные данные, используя среднее значение и дисперсию своих скользящих статистических данных, полученных во время обучения.

Форма входных данных:

Произвольная. Используйте ключевой аргумент input_shape (кортеж целых чисел, не включая ось образцов), при использовании этого слоя в качестве первого слоя в модели.

Форма выходных данных:

Такая же форма, как и входные данные.