tf.keras.optimizers.experimental.AdamW

Оптимизатор, реализующий алгоритм AdamW.

Наследуется от: Optimizer, Module

tf.keras.optimizers.experimental.AdamW(
    learning_rate=0.001,
    weight_decay=0.004,
    beta_1=0.9,
    beta_2=0.999,
    epsilon=1e-07,
    amsgrad=False,
    clipnorm=None,
    clipvalue=None,
    global_clipnorm=None,
    use_ema=False,
    ema_momentum=0.99,
    ema_overwrite_frequency=None,
    jit_compile=True,
    name='AdamW',
    **kwargs
)

Оптимизация AdamW — это метод стохастического градиентного спуска, основанный на адаптивной оценке моментов первого и второго порядка с добавлением метода для уменьшения весов в соответствии с техникой, обсуждаемой в статье «Decoupled Weight Decay Regularization» авторов Loshchilov, Hutter и др., 2019.

Согласно Kingma и др., 2014, основной метод Adam «вычислительно эффективен, имеет небольшие требования к памяти, инвариантен к диагональному масштабированию градиентов и хорошо подходит для задач, больших по объёму данных/параметров».

Ссылка:

• Loshchilov и др., 2019
• Kingma и др., 2014 для adam
• Reddi и др., 2018 для amsgrad.

Примечания:

Значение по умолчанию 1e-7 для epsilon может не быть хорошим значением по умолчанию в общем случае. Например, при обучении сети Inception на ImageNet текущим хорошим выбором является 1.0 или 0.1. Обратите внимание, что поскольку Adam использует формулировку перед разделом 2.1 статьи Kingma и Ba, а не формулировку в Алгоритме 1, «epsilon», о котором идёт речь здесь, — это «ε шляпа» в статье.

Реализация этого алгоритма для разреженных данных (используется, когда градиент — объект IndexedSlices, обычно из-за tf.gather или поиска вложения в прямом проходе) применяет импульс к слайсам переменных, даже если они не использовались в прямом проходе (то есть у них градиент равен нулю). Затухание импульса (beta1) также применяется ко всему накопителю импульса. Это означает, что поведение в разреженном случае эквивалентно поведению в плотных данных (в отличие от некоторых реализаций импульса, которые игнорируют импульс, если слайс переменной фактически не использовался).

Методы

add_variable

Просмотреть исходный код

add_variable(
    shape, dtype=None, initializer='zeros', name=None
)

Создать переменную оптимизатора.

add_variable_from_reference

Просмотреть исходный код

add_variable_from_reference(
    model_variable, variable_name, shape=None, initial_value=None
)

Создать переменную оптимизатора на основе переменной модели.

Создать переменную оптимизатора на основе информации о переменной модели. Например, в оптимизаторе SGD импульс, для каждой переменной модели, создаётся соответствующая переменная импульса той же формы и типа данных.

aggregate_gradients

Просмотреть исходный код

aggregate_gradients(
    grads_and_vars
)

Агрегировать градиенты на всех устройствах.

По умолчанию мы будем выполнять reduce_sum градиентов по устройствам. Пользователи могут реализовать свою логику агрегации, переопределив этот метод.

apply_gradients

Просмотреть исходный код

apply_gradients(
    grads_and_vars, skip_gradients_aggregation=False
)

Применить градиенты к переменным.

build

Просмотреть исходный код

build(
    var_list
)

Инициализирует переменные оптимизатора.

Оптимизатор AdamW имеет 3 типа переменных: моменты, скорости и скорость_hat (устанавливается только при использовании amsgrad).

compute_gradients

Просмотреть исходный код

compute_gradients(
    loss, var_list, tape=None
)

Вычисляет градиенты потери по обучаемым переменным.

finalize_variable_values

Просмотреть исходный код

finalize_variable_values(
    var_list
)

Устанавливает окончательное значение обучаемых переменных модели.

Иногда перед завершением обновлений переменных требуется выполнить дополнительные шаги, например, переопределение переменных модели их средним значением.

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создаёт оптимизатор из его конфигурации.

Этот метод является обратным к get_config, позволяющим восстановить тот же оптимизатор из словаря конфигурации.

get_config

Просмотреть исходный код

get_config()

Возвращает конфигурацию оптимизатора.

Конфигурация оптимизатора — это словарь Python (сериализуемый), содержащий конфигурацию оптимизатора. Тот же оптимизатор можно повторно создать позже (без сохранения состояния) из этой конфигурации.

Подклассы оптимизатора должны переопределить этот метод, чтобы включить другие гиперпараметры.

minimize

Просмотреть исходный код

minimize(
    loss, var_list, tape=None
)

Минимизирует loss путем обновления var_list.

Этот метод просто вычисляет градиент с помощью tf.GradientTape и вызывает apply_gradients(). Если вы хотите обработать градиент перед применением, то вызовите tf.GradientTape и apply_gradients() явно вместо использования этой функции.

update_step

Просмотреть исходный код

update_step(
    gradient, variable
)

Обновляет шаг, учитывая градиент и соответствующую переменную модели.