tf.contrib.layers.xavier_initializer

Возвращает инициализатор, выполняющий инициализацию «Xavier» для весов.

tf.contrib.layers.xavier_initializer(
    uniform=True, seed=None, dtype=tf.dtypes.float32
)

Эта функция реализует инициализацию весов из:

Xavier Glorot и Yoshua Bengio (2010): Понимание сложности обучения глубоких полносвязных нейронных сетей. Международная конференция по искусственному интеллекту и статистике.

Этот инициализатор предназначен для поддержания примерно одинакового масштаба градиентов во всех слоях. В случае равномерного распределения это приводит к диапазону: x = sqrt(6. / (in + out)); [-x, x] а для нормального распределения используется стандартное отклонение sqrt(2. / (in + out)).