tf.compat.v1.uniform_unit_scaling_initializer

Инициализатор, создающий тензоры без масштабирования дисперсии.

tf.compat.v1.uniform_unit_scaling_initializer(
    factor=1.0,
    seed=None,
    dtype=tf.dtypes.float32
)

При инициализации глубокой сети в принципе полезно сохранять масштаб дисперсии входных данных постоянным, чтобы он не увеличивался и не уменьшался к моменту достижения последнего слоя. Если входные данные — x, операция — x * W, и мы хотим инициализировать W равномерно случайными значениями, необходимо выбрать W из

[-sqrt(3) / sqrt(dim), sqrt(3) / sqrt(dim)]

чтобы сохранить масштаб неизменным, где dim = W.shape[0] (размер входных данных). Аналогичный расчет для сверточных сетей дает аналогичный результат, в котором dim равно произведению первых трех измерений. При наличии нелинейностей это значение необходимо умножить на константу factor. Более подробное обоснование, результаты экспериментов и расчет констант см. в работе Sussillo et al. (2014). В разделе 2.3 этой работы константы были вычислены численно: для линейного слоя — 1.0, для ReLU — примерно 1.43, для tanh — примерно 1.15.

Методы

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создает инициализатор на основе словаря конфигурации.

Пример:

initializer = RandomUniform(-1, 1)
config = initializer.get_config()
initializer = RandomUniform.from_config(config)

get_config

Просмотреть исходный код

get_config()

Возвращает конфигурацию инициализатора в виде словаря, сериализуемого в JSON.

__call__

Просмотреть исходный код

__call__(
    shape, dtype=None, partition_info=None
)

Возвращает объект-тензор, инициализированный указанным инициализатором.