tf.keras.optimizers.legacy.Adamax

Оптимизатор, реализующий алгоритм Adamax.

Наследует от: Adamax, Optimizer

tf.keras.optimizers.legacy.Adamax(
    learning_rate=0.001,
    beta_1=0.9,
    beta_2=0.999,
    epsilon=1e-07,
    name='Adamax',
    **kwargs
)

Это вариант Adam, основанный на бесконечной норме. Значения по умолчанию соответствуют значениям, приведенным в статье. Adamax иногда превосходит Adam, особенно в моделях с вложениями.

Инициализация:

m = 0  # Initialize initial 1st moment vector
v = 0  # Initialize the exponentially weighted infinity norm
t = 0  # Initialize timestep

Правило обновления параметра w с градиентом g описано в конце раздела 7.1 статьи:

t += 1
m = beta1 * m + (1 - beta) * g
v = max(beta2 * v, abs(g))
current_lr = learning_rate / (1 - beta1 ** t)
w = w - current_lr * m / (v + epsilon)

Аналогично Adam, значение epsilon добавляется для повышения числовой устойчивости (особенно для устранения деления на ноль, когда v_t == 0).

В отличие от Adam, разряженная реализация этого алгоритма (используемая, когда градиент является объектом IndexedSlices, обычно из-за tf.gather или поиска вложения в прямом проходе) обновляет только фрагменты переменной и соответствующие m_t, v_t члены, когда эта часть переменной использовалась в прямом проходе. Это означает, что поведение при разряженном представлении отличается от поведения при плотной записи (аналогично некоторым реализациям импульса, которые игнорируют импульс, если фрагмент переменной фактически не использовался).

Ссылка:

• Kingma et al., 2014