tf.contrib.layers.variance_scaling_initializer

Возвращает инициализатор, который генерирует тензоры без масштабирования дисперсии.

tf.contrib.layers.variance_scaling_initializer(
    factor=2.0, mode='FAN_IN', uniform=False, seed=None, dtype=tf.dtypes.float32
)

При инициализации глубокой сети желательно сохранять масштаб дисперсии входных данных постоянным, чтобы он не взрывался или не уменьшался к конечному слою. Этот инициализатор использует следующую формулу:

if mode='FAN_IN': # Count only number of input connections.
  n = fan_in
elif mode='FAN_OUT': # Count only number of output connections.
  n = fan_out
elif mode='FAN_AVG': # Average number of inputs and output connections.
  n = (fan_in + fan_out)/2.0

  truncated_normal(shape, 0.0, stddev=sqrt(factor / n))

• Для получения Delving Deep into Rectifiers (также известного как "MSRA initialization"), используйте (по умолчанию):
  factor=2.0 mode='FAN_IN' uniform=False
• Для получения Convolutional Architecture for Fast Feature Embedding, используйте:
  factor=1.0 mode='FAN_IN' uniform=True
• Для получения Understanding the difficulty of training deep feedforward neural networks, используйте:
  factor=1.0 mode='FAN_AVG' uniform=True.
• Для получения xavier_initializer используйте либо:
  factor=1.0 mode='FAN_AVG' uniform=True, или
  factor=1.0 mode='FAN_AVG' uniform=False.