tf.keras.optimizers.Nadam
| Просмотреть исходный код на GitHub |
Оптимизатор, реализующий алгоритм NAdam.
Наследуется от: Optimizer
tf.keras.optimizers.Nadam(
learning_rate=0.001,
beta_1=0.9,
beta_2=0.999,
epsilon=1e-07,
name='Nadam',
**kwargs
)
Подобно тому, как Adam по сути является RMSprop с моментом, Nadam является Adam с моментом Нестерова.
| Аргументы | |
|---|---|
learning_rate | A Tensor или значение с плавающей точкой. Значение скорости обучения. |
beta_1 | Значение с плавающей точкой или постоянный тензор с плавающей точкой. Скорость экспоненциального затухания для оценок первого момента. |
beta_2 | Значение с плавающей точкой или постоянный тензор с плавающей точкой. Скорость экспоненциального затухания для экспоненциально взвешенной бесконечной нормы. |
epsilon | Небольшая константа для обеспечения числовой устойчивости. |
name | Необязательное имя для операций, созданных при применении градиентов. По умолчанию "Nadam". |
**kwargs | дополнительные аргументы. Допустимые аргументы — clipvalue, clipnorm, global_clipnorm. Если clipvalue (значение с плавающей точкой) задано, градиент каждого веса ограничивается значением, не превышающим это значение. Если clipnorm (значение с плавающей точкой) задано, градиент каждого веса индивидуально ограничивается так, чтобы его норма не превышала это значение. Если global_clipnorm (значение с плавающей точкой) задано, градиент всех весов ограничивается так, чтобы их глобальная норма не превышала это значение. |
Пример использования:
opt = tf.keras.optimizers.Nadam(learning_rate=0.2)
var1 = tf.Variable(10.0)
loss = lambda: (var1 ** 2) / 2.0
step_count = opt.minimize(loss, [var1]).numpy()
"{:.1f}".format(var1.numpy())
9.8
Ссылка:
| Возбуждает | |
|---|---|
ValueError | в случае любого недопустимого аргумента. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/keras/optimizers/Nadam
