tf.keras.optimizers.legacy.Adadelta
Оптимизатор, реализующий алгоритм Adadelta.
Наследуется от: Adadelta, Optimizer
tf.keras.optimizers.legacy.Adadelta(
learning_rate=0.001,
rho=0.95,
epsilon=1e-07,
name='Adadelta',
**kwargs
)
Оптимизация Adadelta — это метод стохастического градиентного спуска, основанный на адаптивном изменении скорости обучения по каждой размерности для решения двух недостатков:
- Постоянное уменьшение скорости обучения в процессе обучения.
- Необходимость в ручном выборе глобальной скорости обучения.
Adadelta — более устойчивое расширение Adagrad, которое адаптирует скорости обучения, основываясь на скользящем окне обновлений градиента, вместо накопления всех прошлых градиентов. Таким образом, Adadelta продолжает обучение, даже если было выполнено много обновлений. По сравнению с Adagrad, в исходной версии Adadelta не нужно задавать начальную скорость обучения. В этой версии начальную скорость обучения можно задать, как и в большинстве других оптимизаторов Keras.
| Аргументы | |
|---|---|
learning_rate | Начальное значение скорости обучения: либо число с плавающей запятой, либо экземпляр tf.keras.optimizers.schedules.LearningRateSchedule. По умолчанию 0,001. Обратите внимание, что Adadelta часто выигрывает от более высоких начальных значений скорости обучения по сравнению с другими оптимизаторами. Для соответствия точной форме в оригинальной статье используйте 1,0. |
rho | Скорость затухания или число с плавающей запятой. |
epsilon | Небольшое число с плавающей запятой, используемое для поддержания числовой устойчивости. |
name | Необязательное префиксное имя для операций, создаваемых при применении градиентов. По умолчанию "Adadelta". |
**kwargs | дополнительные ключевые аргументы. Разрешены аргументы clipvalue, clipnorm, global_clipnorm. Если clipvalue (число с плавающей точкой) установлено, градиент каждого веса ограничивается значением не выше этого. Если clipnorm (число с плавающей точкой) установлено, градиент каждого веса индивидуально ограничивается так, чтобы его норма не превышала этого значения. Если global_clipnorm (число с плавающей точкой) установлено, градиент всех весов ограничивается так, что их глобальная норма не превышает этого значения. |
Ссылка:
| Исключения | |
|---|---|
ValueError | в случае любого недопустимого аргумента. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/keras/optimizers/legacy/Adadelta
