tf.compat.v1.nn.fused_batch_norm

Нормализация по батчу.

tf.compat.v1.nn.fused_batch_norm(
    x,
    scale,
    offset,
    mean=None,
    variance=None,
    epsilon=0.001,
    data_format='NHWC',
    is_training=True,
    name=None,
    exponential_avg_factor=1.0
)

См. исходный код: Нормализация по батчу: ускорение обучения глубоких сетей за счёт снижения смещения внутренних ковариатов; С. Иоффе, К. Зегеди.

Аргументы
`x`	Входной тензор `Tensor` 4 или 5 измерений.
`scale`	Массив `Tensor` 1 измерения для масштабирования.
`offset`	Массив `Tensor` 1 измерения для смещения.
`mean`	Массив `Tensor` 1 измерения для выборочного среднего. Форма и смысл этого аргумента зависят от значения is_training и exponential_avg_factor следующим образом: is_trainingFalse (вывод): Среднее значение должно быть `Tensor` такой же формы, как scale, содержащим оценённое выборочное среднее, вычисленное во время обучения. is_trainingTrue и exponential_avg_factor == 1.0: Среднее значение должно быть None. is_trainingTrue и exponential_avg_factor != 1.0: Среднее значение должно быть `Tensor` такой же формы, как scale, содержащим экспоненциальное скользящее среднее.
`variance`	Массив `Tensor` 1 измерения для выборочной дисперсии. Форма и смысл этого аргумента зависят от значения is_training и exponential_avg_factor следующим образом: is_trainingFalse (вывод): Дисперсия должна быть `Tensor` такой же формы, как scale, содержащим оценённую выборочную дисперсию, вычисленную во время обучения. is_training==True и exponential_avg_factor == 1.0: Дисперсия должна быть None. is_training==True и exponential_avg_factor != 1.0: Дисперсия должна быть `Tensor` такой же формы, как scale, содержащим экспоненциальную скользящую дисперсию.
`epsilon`	Малое число с плавающей точкой, добавляемое к дисперсии x.
`data_format`	Формат данных x. Поддерживаются "NHWC" (по умолчанию) или "NCHW" для 4D тензоров и "NDHWC" или "NCDHW" для 5D тензоров.
`is_training`	Булево значение, указывающее, используется ли операция для обучения или вывода.
`name`	Имя этой операции (необязательно).
`exponential_avg_factor`	Число с плавающей точкой (обычно между 0 и 1), используемое для управления затуханием экспоненциального скользящего среднего выборочного среднего и дисперсии. Если установлено в 1.0, возвращается текущее выборочное среднее.

Возвращаемые значения
`y`	4D или 5D тензор для нормализованного, масштабированного и смещённого x.
`running_mean`	1D тензор для экспоненциального скользящего среднего x. Значение результата равно (1 - exponential_avg_factor) * mean + exponential_avg_factor * batch_mean), где batch_mean — среднее значение текущего батча в x.
`running_var`	1D тензор для экспоненциального скользящего отклонения. Значение результата равно (1 - exponential_avg_factor) * variance + exponential_avg_factor * batch_variance), где batch_variance — дисперсия текущего батча в x.

Ссылки
Нормализация по батчу - ускорение обучения глубоких сетей за счёт снижения смещения внутренних ковариатов: Ioffe et al., 2015 (pdf)

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/compat/v1/nn/fused_batch_norm