tf.keras.optimizers.Adadelta

Оптимизатор, реализующий алгоритм Adadelta.

Наследуется от: Optimizer

tf.keras.optimizers.Adadelta(
    learning_rate=0.001,
    rho=0.95,
    epsilon=1e-07,
    name='Adadelta',
    **kwargs
)

Оптимизация Adadelta — это метод стохастического градиентного спуска, основанный на адаптивной скорости обучения по каждой размерности, для решения двух недостатков:

• Постоянное уменьшение скорости обучения в процессе обучения.
• Необходимость ручного выбора глобальной скорости обучения.

Adadelta — более устойчивое расширение Adagrad, которое адаптирует скорости обучения на основе скользящего окна обновлений градиента, а не накопления всех прошлых градиентов. Таким образом, Adadelta продолжает обучение даже после многих обновлений. По сравнению с Adagrad, в исходной версии Adadelta не нужно задавать начальную скорость обучения. В этой версии начальную скорость обучения можно задать, как и в большинстве других оптимизаторов Keras.

Ссылка:

• Zeiler, 2012