tf.keras.optimizers.experimental.Adam

Оптимизатор, реализующий алгоритм Adam.

Наследуется от: Optimizer, Module

tf.keras.optimizers.experimental.Adam(
    learning_rate=0.001,
    beta_1=0.9,
    beta_2=0.999,
    epsilon=1e-07,
    amsgrad=False,
    clipnorm=None,
    clipvalue=None,
    global_clipnorm=None,
    use_ema=False,
    ema_momentum=0.99,
    ema_overwrite_frequency=None,
    jit_compile=True,
    name='Adam',
    **kwargs
)

Оптимизация Adam — это метод стохастического градиентного спуска, основанный на адаптивной оценке моментов первого и второго порядка.

Согласно Kingma и др., 2014, этот метод «вычислительно эффективный, с небольшими требованиями к памяти, инвариантный к диагональному масштабированию градиентов и хорошо подходит для задач, больших по объёму данных/параметров».

Ссылка:

• Kingma и др., 2014
• Reddi и др., 2018 для amsgrad.

Примечания:

Значение по умолчанию 1e-7 для ε может быть не лучшим значением по умолчанию в общем случае. Например, при обучении сети Inception на ImageNet текущим хорошим выбором является 1.0 или 0.1. Обратите внимание, что поскольку Adam использует формулу перед разделом 2.1 статьи Кинга и Ба, а не формулу в алгоритме 1, «ε» здесь — «ε шляпа» в статье.

Реализация этого алгоритма для разреженных данных (используется, когда градиент — объект IndexedSlices, обычно из-за tf.gather или поиска вложения в прямом проходе) применяет импульс к срезам переменных, даже если они не использовались в прямом проходе (то есть, у них градиент равен нулю). Затухание импульса (beta1) также применяется к всему аккумулятору импульса. Это означает, что поведение в разреженных и плотных случаях эквивалентно (в отличие от некоторых реализаций импульса, которые игнорируют импульс, если срез переменной фактически не использовался).

Методы

add_variable

Посмотреть исходный код

add_variable(
    shape, dtype=None, initializer='zeros', name=None
)

Создать переменную оптимизатора.

add_variable_from_reference

Посмотреть исходный код

add_variable_from_reference(
    model_variable, variable_name, shape=None, initial_value=None
)

Создать переменную оптимизатора из переменной модели.

Создать переменную оптимизатора на основе информации о переменной модели. Например, в оптимизаторе SGD с моментом для каждой переменной модели создается соответствующая переменная момента той же формы и типа данных.

aggregate_gradients

Посмотреть исходный код

aggregate_gradients(
    grads_and_vars
)

Сводка градиентов на всех устройствах.

По умолчанию мы будем выполнять reduce_sum градиентов по устройствам. Пользователи могут реализовать свою логику агрегации, переопределив этот метод.

apply_gradients

Посмотреть исходный код

apply_gradients(
    grads_and_vars, skip_gradients_aggregation=False
)

Применение градиентов к переменным.

build

Посмотреть исходный код

build(
    var_list
)

Инициализация переменных оптимизатора.

Оптимизатор Adam имеет 3 типа переменных: моменты, скорости и скорость_шляпа (только если применяется amsgrad).

compute_gradients

Просмотреть исходный код

compute_gradients(
    loss, var_list, tape=None
)

Вычислить градиенты потерь по обучаемым переменным.

finalize_variable_values

Просмотреть исходный код

finalize_variable_values(
    var_list
)

Установить конечное значение обучаемых переменных модели.

Иногда перед завершением обновлений переменных требуется выполнить дополнительные шаги, например, заменить переменные модели на их среднее значение.

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создает оптимизатор из его конфигурации.

Этот метод является обратным к get_config, позволяя создать тот же оптимизатор из словаря конфигурации.

get_config

Просмотреть исходный код

get_config()

Возвращает конфигурацию оптимизатора.

Конфигурация оптимизатора — это словарь Python (сериализуемый), содержащий конфигурацию оптимизатора. Позже из этой конфигурации можно восстановить тот же оптимизатор (без сохранения состояния).

Подклассы оптимизатора должны переопределять этот метод, чтобы включать другие гиперпараметры.

minimize

Просмотреть исходный код

minimize(
    loss, var_list, tape=None
)

Минимизировать loss путем обновления var_list.

Этот метод просто вычисляет градиент с помощью tf.GradientTape и вызывает apply_gradients(). Если вы хотите обработать градиент перед применением, то вызовите tf.GradientTape и apply_gradients() явно, вместо использования этой функции.

update_step

Просмотреть исходный код

update_step(
    gradient, variable
)

Шаг обновления, заданный градиентом и связанной переменной модели.