tf.compat.v1.nn.fused_batch_norm
Нормализация по батчам.
tf.compat.v1.nn.fused_batch_norm(
x, scale, offset, mean=None, variance=None, epsilon=0.001, data_format='NHWC',
is_training=True, name=None, exponential_avg_factor=1.0
)
См. исходный код: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift; S. Ioffe, C. Szegedy.
| Аргументы | |
|---|---|
x | Вход Tensor 4-х измерений. |
scale | Tensor 1-го измерения для масштабирования. |
offset | Tensor 1-го измерения для смещения. |
mean | Tensor 1-го измерения для выборочного среднего. Форма и значение этого аргумента зависят от значения is_training и exponential_avg_factor следующим образом: is_trainingFalse (вывод): Среднее должно быть Tensor такой же формы, как scale, содержащее оценённое выборочное среднее, вычисленное во время обучения. is_trainingTrue и exponential_avg_factor == 1.0: Среднее должно быть None. is_trainingTrue и exponential_avg_factor != 1.0: Среднее должно быть Tensor такой же формы, как scale, содержащее экспоненциальное скользящее среднее.
|
variance | Tensor 1-го измерения для выборочной дисперсии. Форма и значение этого аргумента зависят от значения is_training и exponential_avg_factor следующим образом: is_trainingFalse (вывод): Дисперсия должна быть Tensor такой же формы, как scale, содержащее оценённую выборочную дисперсию, вычисленную во время обучения. is_training==True и exponential_avg_factor == 1.0: Дисперсия должна быть None. is_training==True и exponential_avg_factor != 1.0: Дисперсия должна быть Tensor такой же формы, как scale, содержащее экспоненциальную скользящую дисперсию. |
epsilon | Малое число с плавающей запятой, добавляемое к дисперсии x. |
data_format | Формат данных для x. Либо "NHWC" (по умолчанию), либо "NCHW". |
is_training | Логическое значение для указания, используется ли операция для обучения или вывода. |
name | Имя этой операции (необязательно). |
exponential_avg_factor | Число с плавающей запятой (обычно между 0 и 1), используемое для управления затуханием скользящего выборочного среднего значения среднего и дисперсии. Если установлено значение 1.0, возвращается текущее среднее значение батча. |
| Возвращаемые значения | |
|---|---|
y | Тензор 4D для нормированного, масштабированного и смещённого x. |
running_mean | Тензор 1D для экспоненциального скользящего среднего значения x. Значение вывода равно (1 - exponential_avg_factor) * mean + exponential_avg_factor * batch_mean), где batch_mean — среднее значение текущего батча в x. |
running_var | Тензор 1D для экспоненциальной скользящей дисперсии. Значение вывода равно (1 - exponential_avg_factor) * variance + exponential_avg_factor * batch_variance), где batch_variance — дисперсия текущего батча в x. |
Справочная информация:
Batch Normalization - Ускорение обучения глубоких нейронных сетей за счет уменьшения внутренней ковариационной смещённости: Ioffe et al., 2015 (pdf)
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/compat/v1/nn/fused_batch_norm
