tf.compat.v1.uniform_unit_scaling_initializer

Инициализатор, генерирующий тензоры без масштабирования дисперсии.

tf.compat.v1.uniform_unit_scaling_initializer(
    factor=1.0, seed=None, dtype=tf.dtypes.float32
)

При инициализации глубокой нейронной сети, в принципе, выгодно сохранять масштаб дисперсии входных данных постоянным, чтобы она не взрывалась или не уменьшалась, достигая конечного слоя. Если вход представляет собой x и операция x * W, и мы хотим инициализировать W равномерно случайным образом, нам нужно выбрать W из

[-sqrt(3) / sqrt(dim), sqrt(3) / sqrt(dim)]

чтобы сохранить масштаб неизменным, где dim = W.shape[0] (размер входа). Аналогичный расчет для свёрточных сетей даёт аналогичный результат, где dim равно произведению первых 3 измерений. При наличии нелинейностей нам нужно умножить это на константу factor. Для более глубокого мотива, экспериментов и вычисления констант см. (Sussillo и др., 2014). В разделе 2.3 там константы были вычислены численно: для линейного слоя это 1,0, relu: ~1,43, tanh: ~1,15.

Ссылки:

Sussillo et al., 2014 (pdf)

Методы

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Инициализирует инициализатор из словаря конфигурации.

Пример:

initializer = RandomUniform(-1, 1)
config = initializer.get_config()
initializer = RandomUniform.from_config(config)

get_config

Просмотреть исходный код

get_config()

Возвращает конфигурацию инициализатора в виде сериализуемого в JSON словаря.

__call__

Просмотреть исходный код

__call__(
    shape, dtype=None, partition_info=None
)

Возвращает тензор, инициализированный в соответствии с параметрами инициализатора.