tf.keras.optimizers.legacy.Nadam
Оптимизатор, реализующий алгоритм Nadam.
Наследуется от: Nadam, Optimizer
tf.keras.optimizers.legacy.Nadam(
learning_rate=0.001,
beta_1=0.9,
beta_2=0.999,
epsilon=1e-07,
name='Nadam',
**kwargs
)
Подобно тому, как Adam по сути является RMSprop с моментом, Nadam — это Adam с моментом Нестерова.
| Аргументы | |
|---|---|
learning_rate | Tensor или число с плавающей запятой. Скорость обучения. |
beta_1 | Вещественное значение или постоянный тензор с плавающей запятой. Скорость экспоненциального затухания для оценок первого момента. |
beta_2 | Вещественное значение или постоянный тензор с плавающей запятой. Скорость экспоненциального затухания для экспоненциально взвешенной бесконечной нормы. |
epsilon | Небольшая константа для обеспечения числовой устойчивости. |
name | Необязательное имя для операций, созданных при применении градиентов. По умолчанию "Nadam". |
**kwargs | Дополнительные ключевые аргументы. Разрешенные аргументы — clipvalue, clipnorm, global_clipnorm. Если clipvalue (число с плавающей запятой) задано, градиент каждого веса ограничен сверху указанным значением. Если clipnorm (число с плавающей запятой) задано, градиент каждого веса ограничен индивидуально, так что его норма не превышает указанного значения. Если global_clipnorm (число с плавающей запятой) задано, градиент всех весов ограничен сверху, так что их глобальная норма не превышает указанного значения. |
Пример использования:
opt = tf.keras.optimizers.Nadam(learning_rate=0.2)
var1 = tf.Variable(10.0)
loss = lambda: (var1 ** 2) / 2.0
step_count = opt.minimize(loss, [var1]).numpy()
"{:.1f}".format(var1.numpy())
9.8
Ссылка:
| Исключения | |
|---|---|
ValueError | в случае некорректных аргументов. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/keras/optimizers/legacy/Nadam
