tf.compat.v1.nn.fused_batch_norm

Базовая нормализация по батчам.

tf.compat.v1.nn.fused_batch_norm(
    x,
    scale,
    offset,
    mean=None,
    variance=None,
    epsilon=0.001,
    data_format='NHWC',
    is_training=True,
    name=None,
    exponential_avg_factor=1.0
)

См. исходный текст: Базовая нормализация: ускорение обучения глубоких сетей за счёт снижения смещения внутренних ковариаций; С. Иоффе, К. Шзегеди.

Аргументы
`x`	Вход `Tensor` с 4 или 5 измерениями.
`scale`	Массив `Tensor` с 1 измерением для масштабирования.
`offset`	Массив `Tensor` с 1 измерением для смещения.
`mean`	Массив `Tensor` с 1 измерением для среднего значения генеральной совокупности. Формат и смысл этого аргумента зависят от значения is_training и exponential_avg_factor следующим образом: is_trainingFalse (вывод): среднее значение должно быть `Tensor` такой же формы, как scale, содержащий среднее значение генеральной совокупности, вычисленное во время обучения. is_trainingTrue и exponential_avg_factor == 1.0: среднее значение должно быть None. is_trainingTrue и exponential_avg_factor != 1.0: среднее значение должно быть `Tensor` такой же формы, как scale, содержащий экспоненциальное среднее значение.
`variance`	Массив `Tensor` с 1 измерением для дисперсии генеральной совокупности. Формат и смысл этого аргумента зависят от значения is_training и exponential_avg_factor следующим образом: is_trainingFalse (вывод): дисперсия должна быть `Tensor` такой же формы, как scale, содержащий оценённую дисперсию генеральной совокупности, вычисленную во время обучения. is_training==True и exponential_avg_factor == 1.0: дисперсия должна быть None. is_training==True и exponential_avg_factor != 1.0: дисперсия должна быть `Tensor` такой же формы, как scale, содержащий экспоненциальную дисперсию.
`epsilon`	Небольшое число с плавающей точкой, добавляемое к дисперсии x.
`data_format`	Формат данных x. Поддерживаются "NHWC" (по умолчанию) или "NCHW" для тензоров 4D и "NDHWC" или "NCDHW" для тензоров 5D.
`is_training`	Логическое значение для указания, используется ли операция для обучения или вывода.
`name`	Имя этой операции (необязательно).
`exponential_avg_factor`	Число с плавающей точкой (обычно между 0 и 1), используемое для управления затуханием экспоненциального среднего значения генеральной совокупности для среднего и дисперсии. Если значение равно 1.0, возвращается текущее среднее значение по батчу.

Возвращает
`y`	Тензор 4D или 5D для нормализованного, масштабированного, смещённого x.
`running_mean`	Массив 1D для экспоненциального среднего значения x. Значение вывода равно (1 - exponential_avg_factor) * mean + exponential_avg_factor * batch_mean), где batch_mean — среднее значение текущего батча в x.
`running_var`	Массив 1D для экспоненциальной дисперсии. Значение вывода равно (1 - exponential_avg_factor) * variance + exponential_avg_factor * batch_variance), где batch_variance — дисперсия текущего батча в x.

Ссылки:

Базовая нормализация - ускорение обучения глубоких сетей за счёт снижения смещения внутренних ковариаций: Ioffe et al., 2015 (pdf)

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/compat/v1/nn/fused_batch_norm