tf.keras.optimizers.AdamW

Оптимизатор, реализующий алгоритм AdamW.

Наследует от: Adam, Optimizer

tf.keras.optimizers.AdamW(
    learning_rate=0.001,
    weight_decay=0.004,
    beta_1=0.9,
    beta_2=0.999,
    epsilon=1e-07,
    amsgrad=False,
    clipnorm=None,
    clipvalue=None,
    global_clipnorm=None,
    use_ema=False,
    ema_momentum=0.99,
    ema_overwrite_frequency=None,
    loss_scale_factor=None,
    gradient_accumulation_steps=None,
    name='adamw',
    **kwargs
)

Оптимизация AdamW — это метод стохастического градиентного спуска, основанный на адаптивной оценке моментов первого и второго порядка, с добавленным методом затухания весов в соответствии с методами, рассмотренными в статье «Decoupled Weight Decay Regularization» авторов Лошчилова, Хаттера и др., 2019.

Согласно Кингме и др., 2014, лежащий в основе метод Adam является «вычислительно эффективным, требует мало памяти, инвариантен к диагональному масштабированию градиентов и хорошо подходит для задач с большим объемом данных/параметров».

Ссылки:

• Лошчилов и др., 2019
• Кингма и др., 2014 для adam
• Редди и др., 2018 для amsgrad.

Методы

add_variable

Посмотреть исходный код

add_variable(
    shape,
    initializer='zeros',
    dtype=None,
    aggregation='mean',
    name=None
)

add_variable_from_reference

Посмотреть исходный код

add_variable_from_reference(
    reference_variable, name=None, initializer='zeros'
)

Добавляет переменную, заполненную нулями, с той же формой и типом данных, что и у эталонной переменной.

apply

Посмотреть исходный код

apply(
    grads, trainable_variables=None
)

Обновляет обучаемые переменные на основе переданных значений градиента.

grads должен быть списком тензоров градиентов, каждый из которых соответствует одной переменной из списка переменных, с которыми был создан оптимизатор.

trainable_variables можно передать при первом вызове для создания оптимизатора.

apply_gradients

Посмотреть исходный код

apply_gradients(
    grads_and_vars
)

assign

Посмотреть исходный код

assign(
    variable, value
)

Присваивает переменной значение.

Для поддержки специфичных для бэкенда оптимизаций в оптимизаторах следует использовать этот метод вместо variable.assign(value). Обратите внимание, что переменная может быть переменной модели или оптимизатора; она может быть нативной переменной бэкенда или переменной Keras.

assign_add

Посмотреть исходный код

assign_add(
    variable, value
)

Добавляет значение к переменной.

Для поддержки специфичных для бэкенда оптимизаций в оптимизаторах следует использовать этот метод вместо variable.assign_add(value). Обратите внимание, что переменная может быть переменной модели или оптимизатора; она может быть нативной переменной бэкенда или переменной Keras.

assign_sub

Посмотреть исходный код

assign_sub(
    variable, value
)

Вычитает значение из переменной.

Для поддержки специфичных для бэкенда оптимизаций в оптимизаторах следует использовать этот метод вместо variable.assign_sub(value). Обратите внимание, что переменная может быть переменной модели или оптимизатора; она может быть нативной переменной бэкенда или переменной Keras.

build

Посмотреть исходный код

build(
    var_list
)

Инициализирует переменные оптимизатора.

У оптимизатора Adam есть три типа переменных: импульсы, скорости и velocity_hat (задается только при использовании amsgrad).

exclude_from_weight_decay

Посмотреть исходный код

exclude_from_weight_decay(
    var_list=None, var_names=None
)

Исключает переменные из затухания весов.

Этот метод необходимо вызвать до вызова метода оптимизатора build. Можно указать конкретные переменные для исключения или задать список строк в качестве ключевых слов: переменная исключается, если любое из этих слов встречается в ее имени.

finalize_variable_values

Посмотреть исходный код

finalize_variable_values(
    var_list
)

Задает окончательные значения обучаемых переменных модели.

Иногда перед завершением обновления переменных требуются дополнительные действия, например замена переменных модели их средними значениями.

from_config

Посмотреть исходный код

@classmethod
from_config(
    config, custom_objects=None
)

Создает оптимизатор на основе его конфигурации.

Этот метод является обратным по отношению к get_config и позволяет создать экземпляр того же оптимизатора из словаря конфигурации.

get_config

Посмотреть исходный код

get_config()

Возвращает конфигурацию оптимизатора.

Конфигурация оптимизатора — это сериализуемый словарь Python, содержащий параметры оптимизатора. Позднее по этой конфигурации можно повторно создать тот же оптимизатор (без сохраненного состояния).

Подклассы оптимизатора должны переопределять этот метод, чтобы включить в конфигурацию другие гиперпараметры.

load_own_variables

Посмотреть исходный код

load_own_variables(
    store
)

Задает состояние этого объекта оптимизатора.

save_own_variables

Посмотреть исходный код

save_own_variables(
    store
)

Получает состояние этого объекта оптимизатора.

scale_loss

Посмотреть исходный код

scale_loss(
    loss
)

Масштабирует функцию потерь перед вычислением градиентов.

Масштабирует функцию потерь перед вычислением градиентов в train_step. Это особенно полезно при обучении со смешанной точностью для предотвращения численного антипереполнения.

set_weights

Посмотреть исходный код

set_weights(
    weights
)

Задает веса оптимизатора.

stateless_apply

Посмотреть исходный код

stateless_apply(
    optimizer_variables, grads, trainable_variables
)

update_step

Посмотреть исходный код

update_step(
    gradient, variable, learning_rate
)

Обновляет шаг с учетом градиента и соответствующей переменной модели.