tf.initializers.variance_scaling
Инициализатор, способный адаптировать свою шкалу к форме тензоров весов.
Наследуется от: Initializer
tf.initializers.variance_scaling(
scale=1.0, mode='fan_in', distribution='truncated_normal', seed=None,
dtype=tf.dtypes.float32
)
При использовании distribution="truncated_normal" or "untruncated_normal", образцы выбираются из усечённого/неусечённого нормального распределения со средним значением ноль и стандартным отклонением (после усечения, если используется) stddev = sqrt(scale / n), где n равно:
- числу входных единиц в тензоре весов, если mode = "fan_in"
- числу выходных единиц, если mode = "fan_out"
- среднему числу входных и выходных единиц, если mode = "fan_avg"
При использовании distribution="uniform", образцы выбираются из равномерного распределения в пределах [-limit, limit] с limit = sqrt(3 * scale / n).
| Аргументы | |
|---|---|
scale | Коэффициент масштабирования (положительное число с плавающей точкой). |
mode | Одно из "fan_in", "fan_out", "fan_avg". |
distribution | Случайное распределение для использования. Одно из "normal", "uniform". |
seed | Целое число Python. Используется для создания случайных семян. См. tf.compat.v1.set_random_seed для получения информации о поведении. |
dtype | Тип данных по умолчанию, используется, если аргумент dtype не указан при вызове инициализатора. Поддерживаются только типы с плавающей точкой. |
| Исключения | |
|---|---|
ValueError | В случае некорректного значения аргументов "scale", "mode" или "distribution". |
Методы
from_config
@classmethod
from_config(
config
)
Инициализирует инициализатор из словаря конфигурации.
Пример:
initializer = RandomUniform(-1, 1) config = initializer.get_config() initializer = RandomUniform.from_config(config)
| Аргументы | |
|---|---|
config | Словарь Python. Обычно он является результатом get_config. |
| Возвращает | |
|---|---|
| Экземпляр инициализатора. |
get_config
get_config()
Возвращает конфигурацию инициализатора в виде сериализуемого в JSON словаря.
| Возвращает | |
|---|---|
| Сериализуемый в JSON словарь Python. |
__call__
__call__(
shape, dtype=None, partition_info=None
)
Возвращает тензорный объект, инициализированный в соответствии с указаниями инициализатора.
| Аргументы | |
|---|---|
shape | Форма тензора. |
dtype | Необязательный тип данных тензора. Если не указано, используется тип данных инициализатора. |
partition_info | Необязательная информация о возможном разбиении тензора. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/initializers/variance_scaling