tf.compat.v1.layers.BatchNormalization

Слой пакетной нормализации из (Ioffe et al., 2015).

Наследуется от: BatchNormalization, Layer, Layer, Module

tf.compat.v1.layers.BatchNormalization(
    axis=-1,
    momentum=0.99,
    epsilon=0.001,
    center=True,
    scale=True,
    beta_initializer=tf.compat.v1.zeros_initializer(),
    gamma_initializer=tf.compat.v1.ones_initializer(),
    moving_mean_initializer=tf.compat.v1.zeros_initializer(),
    moving_variance_initializer=tf.compat.v1.ones_initializer(),
    beta_regularizer=None,
    gamma_regularizer=None,
    beta_constraint=None,
    gamma_constraint=None,
    renorm=False,
    renorm_clipping=None,
    renorm_momentum=0.99,
    fused=None,
    trainable=True,
    virtual_batch_size=None,
    adjustment=None,
    name=None,
    **kwargs
)

Этот API является устаревшим API, совместимым только с выполнением Eager и tf.function, если вы используете его совместно с tf.compat.v1.keras.utils.track_tf1_style_variables

Обратитесь к разделу сопоставления моделей tf.layers в руководстве по миграции, чтобы узнать, как использовать вашу модель TensorFlow v1 в TF2 с Keras.

Соответствующий слой TensorFlow v2 — tf.keras.layers.BatchNormalization.

Структурное отображение на родной TF2

Ни одно из поддерживаемых аргументов не изменило свое имя.

До:

bn = tf.compat.v1.layers.BatchNormalization()

После:

bn = tf.keras.layers.BatchNormalization()

Как сопоставить аргументы

Описание

Keras API обрабатывает обновления BatchNormalization для moving_mean и moving_variance в рамках своих циклов fit() и evaluate(). Однако, если используется пользовательский цикл обучения с экземпляром Model, эти обновления необходимо явно включить. Вот простой пример того, как это можно сделать:

# model is an instance of Model that contains BatchNormalization layer.
update_ops = model.get_updates_for(None) + model.get_updates_for(features)
train_op = optimizer.minimize(loss)
train_op = tf.group([train_op, update_ops])

Ссылки:

Нормализация по набору - Ускорение обучения глубоких сетей за счёт уменьшения внутренней смещённости ковариации: Ioffe и др., 2015 (pdf) Батч-нормализация - На пути к уменьшению зависимости от мини-батчей в батч-нормализованных моделях: Ioffe, 2017 (pdf)

Методы

apply

Просмотреть исходный код

apply(
    *args, **kwargs
)

get_losses_for

Просмотреть исходный код

get_losses_for(
    inputs
)

Возвращает потери, относящиеся к определённому набору входных данных.

get_updates_for

Просмотреть исходный код

get_updates_for(
    inputs
)

Возвращает обновления, относящиеся к определённому набору входных данных.