tf.keras.optimizers.Adamax

Оптимизатор, реализующий алгоритм Adamax.

Наследуется от: Optimizer

tf.keras.optimizers.Adamax(
    learning_rate=0.001, beta_1=0.9, beta_2=0.999, epsilon=1e-07,
    name='Adamax', **kwargs
)

Это вариант Adam, основанный на бесконечной норме. Значения по умолчанию соответствуют тем, которые указаны в статье. Adamax иногда превосходит adam, особенно в моделях с вложениями.

Инициализация:

m = 0  # Initialize initial 1st moment vector
v = 0  # Initialize the exponentially weighted infinity norm
t = 0  # Initialize timestep

Правило обновления параметра w с градиентом g описано в конце раздела 7.1 статьи:

t += 1
m = beta1 * m + (1 - beta) * g
v = max(beta2 * v, abs(g))
current_lr = learning_rate / (1 - beta1 ** t)
w = w - current_lr * m / (v + epsilon)

Аналогично Adam, epsilon добавляется для повышения числовой устойчивости (особенно для устранения деления на ноль, когда v_t == 0).

В отличие от Adam, разреженная реализация этого алгоритма (используется, когда градиент — объект IndexedSlices, обычно из-за tf.gather или поиска вложений в прямом проходе) обновляет только фрагменты переменных и соответствующие m_t, v_t термины, когда эта часть переменной использовалась в прямом проходе. Это означает, что поведение при разреженных данных отличается от поведения при плотных данных (аналогично некоторым реализациям импульса, которые игнорируют импульс, пока фрагмент переменной фактически не был использован).

Ссылка:

• Kingma et al., 2014