tf.compat.v1.nn.fused_batch_norm

Пакетная нормализация.

tf.compat.v1.nn.fused_batch_norm(
    x,
    scale,
    offset,
    mean=None,
    variance=None,
    epsilon=0.001,
    data_format='NHWC',
    is_training=True,
    name=None,
    exponential_avg_factor=1.0
)

См. исходный текст: Пакетная нормализация: ускорение обучения глубоких сетей за счёт уменьшения внутреннего сдвига ковариат; S. Ioffe, C. Szegedy.

Аргументы
`x`	Входной `Tensor` размерности 4 или 5.
`scale`	`Tensor` размерности 1 для масштабирования.
`offset`	`Tensor` размерности 1 для смещения.
`mean`	`Tensor` размерности 1 для среднего по совокупности. Форма и значение этого аргумента зависят от значений is_training и exponential_avg_factor следующим образом: is_trainingFalse (вывод): mean должен быть `Tensor` той же формы, что и scale, содержащим оценку среднего по совокупности, вычисленную во время обучения. is_trainingTrue и exponential_avg_factor == 1.0: mean должен быть None. is_trainingTrue и exponential_avg_factor != 1.0: mean должен быть `Tensor` той же формы, что и scale, содержащим экспоненциальное скользящее среднее.
`variance`	`Tensor` размерности 1 для дисперсии по совокупности. Форма и значение этого аргумента зависят от значений is_training и exponential_avg_factor следующим образом: is_trainingFalse (вывод): variance должен быть `Tensor` той же формы, что и scale, содержащим оценку дисперсии по совокупности, вычисленную во время обучения. is_training==True и exponential_avg_factor == 1.0: variance должен быть None. is_training==True и exponential_avg_factor != 1.0: variance должен быть `Tensor` той же формы, что и scale, содержащим экспоненциальную скользящую дисперсию.
`epsilon`	Небольшое число с плавающей запятой, добавляемое к дисперсии x.
`data_format`	Формат данных для x. Для 4D-тензоров поддерживаются "NHWC" (по умолчанию) или "NCHW", а для 5D-тензоров — "NDHWC" или "NCDHW".
`is_training`	Булево значение, указывающее, используется ли операция для обучения или вывода.
`name`	Имя этой операции (необязательно).
`exponential_avg_factor`	Число с плавающей запятой (обычно от 0 до 1), используемое для управления затуханием скользящего среднего и дисперсии по совокупности. Если задано значение 1.0, возвращается среднее значение текущего пакета.

Возвращаемые значения
`y`	Тензор размерности 4D или 5D, содержащий нормализованное, масштабированное и смещённое значение x.
`running_mean`	Тензор размерности 1D, содержащий экспоненциальное скользящее среднее x. Выходное значение равно (1 - exponential_avg_factor) * mean + exponential_avg_factor * batch_mean), где batch_mean — среднее значение текущего пакета в x.
`running_var`	Тензор размерности 1D, содержащий экспоненциальную скользящую дисперсию. Выходное значение равно (1 - exponential_avg_factor) * variance + exponential_avg_factor * batch_variance), где batch_variance — дисперсия текущего пакета в x.

Источники
Пакетная нормализация — ускорение обучения глубоких сетей за счёт уменьшения внутреннего сдвига ковариат: Ioffe и др., 2015 (PDF)

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/compat/v1/nn/fused_batch_norm