tf.keras.layers.LayerNormalization

Слой нормализации по слоям (Ba и др., 2016).

Наследуется от: Layer

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения более подробной информации.

tf.compat.v1.keras.layers.LayerNormalization, `tf.compat.v2.keras.layers.LayerNormalization`

tf.keras.layers.LayerNormalization(
    axis=-1, epsilon=0.001, center=True, scale=True, beta_initializer='zeros',
    gamma_initializer='ones', beta_regularizer=None, gamma_regularizer=None,
    beta_constraint=None, gamma_constraint=None, trainable=True, name=None, **kwargs
)

Нормализует активации предыдущего слоя для каждого примера в пакете независимо, а не по всему пакету, как в Batch Normalization. То есть, применяет преобразование, которое поддерживает среднее значение активаций каждого примера близким к 0, а стандартное отклонение активаций — близким к 1.

Аргументы
`axis`	Целое число или список/кортеж. Ось, которая должна быть нормализована (обычно ось признаков).
`epsilon`	Малое число, добавляемое к дисперсии, чтобы избежать деления на ноль.
`center`	Если True, добавляет смещение `beta` к нормализованному тензору. Если False, `beta` игнорируется.
`scale`	Если True, умножает на `gamma`. Если False, `gamma` не используется. Когда следующий слой является линейным (например, `nn.relu`), это можно отключить, так как масштабирование будет выполнено следующим слоем.
`beta_initializer`	Инициализатор для веса beta.
`gamma_initializer`	Инициализатор для веса gamma.
`beta_regularizer`	Необязательный регуляризатор для веса beta.
`gamma_regularizer`	Необязательный регуляризатор для веса gamma.
`beta_constraint`	Необязательное ограничение для веса beta.
`gamma_constraint`	Необязательное ограничение для веса gamma.
`trainable`	Булево значение. Если True, переменные будут помечены как обучаемые.

Форма входных данных:

Произвольная. Используйте ключевой аргумент input_shape (кортеж целых чисел, не включая ось образцов) при использовании этого слоя в качестве первого слоя в модели.

Форма выходных данных:

Такая же, как форма входных данных.

Ссылки:

Нормализация по слоям

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/keras/layers/LayerNormalization