tf.compat.v1.uniform_unit_scaling_initializer

Инициализатор, генерирующий тензоры без масштабирования дисперсии.

tf.compat.v1.uniform_unit_scaling_initializer(
    factor=1.0,
    seed=None,
    dtype=tf.dtypes.float32
)

При инициализации глубокой сети, в принципе, выгодно сохранять постоянным масштаб дисперсии входных данных, чтобы она не взрывалась или не уменьшалась к конечному слою. Если входные данные x и операция x * W, и мы хотим инициализировать W равномерно случайным образом, нам нужно выбрать W из

[-sqrt(3) / sqrt(dim), sqrt(3) / sqrt(dim)]

чтобы сохранить масштаб неизменным, где dim = W.shape[0] (размер входных данных). Аналогичное вычисление для сверточных сетей дает аналогичный результат с dim равным произведению первых 3 измерений. При наличии нелинейностей нам нужно умножить это на константу factor. Более глубокое обоснование, эксперименты и вычисление констант см. в (Sussillo et al., 2014). В разделе 2.3 там константы были численно вычислены: для линейного слоя это 1.0, relu: ~1.43, tanh: ~1.15.

Ссылки:

Sussillo et al., 2014 (pdf)

Методы

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Инициализирует инициализатор из словаря конфигурации.

Пример:

initializer = RandomUniform(-1, 1)
config = initializer.get_config()
initializer = RandomUniform.from_config(config)

get_config

Просмотреть исходный код

get_config()

Возвращает конфигурацию инициализатора в виде сериализуемого в JSON словаря.

__call__

Просмотреть исходный код

__call__(
    shape, dtype=None, partition_info=None
)

Возвращает объект тензора, инициализированный в соответствии с инициализатором.