tf.keras.optimizers.AdamW

Оптимизатор, реализующий алгоритм AdamW.

Наследуется от: Adam, Optimizer

tf.keras.optimizers.AdamW(
    learning_rate=0.001,
    weight_decay=0.004,
    beta_1=0.9,
    beta_2=0.999,
    epsilon=1e-07,
    amsgrad=False,
    clipnorm=None,
    clipvalue=None,
    global_clipnorm=None,
    use_ema=False,
    ema_momentum=0.99,
    ema_overwrite_frequency=None,
    loss_scale_factor=None,
    gradient_accumulation_steps=None,
    name='adamw',
    **kwargs
)

Оптимизация AdamW — это метод стохастического градиентного спуска, основанный на адаптивном оценивании моментов первого и второго порядка с добавлением метода для распада весов, как описано в статье «Регуляризация распада весов с развязкой» авторами Loshchilov, Hutter et al., 2019.

Согласно Kingma et al., 2014, базовый метод Adam «...вычислительно эффективен, имеет низкие требования к памяти, инвариантен к диагональному масштабированию градиентов и хорошо подходит для задач с большими объемами данных/параметров».

Ссылки:

• Loshchilov et al., 2019
• Kingma et al., 2014 для adam
• Reddi et al., 2018 для amsgrad.

Методы

add_variable

Просмотреть исходный код

add_variable(
    shape,
    initializer='zeros',
    dtype=None,
    aggregation='mean',
    name=None
)

add_variable_from_reference

Просмотреть исходный код

add_variable_from_reference(
    reference_variable, name=None, initializer='zeros'
)

Добавить переменную, заполненную нулями, с формой и типом данных переменной-ссылки.

apply

Просмотреть исходный код

apply(
    grads, trainable_variables=None
)

Обновить обучаемые переменные в соответствии с предоставленными значениями градиента.

grads должна быть списком тензоров градиента с однозначным соответствием списку переменных, с которыми был построен оптимизатор.

trainable_variables может быть предоставлен при первом вызове для построения оптимизатора.

apply_gradients

Просмотреть исходный код

apply_gradients(
    grads_and_vars
)

assign

Просмотреть исходный код

assign(
    variable, value
)

Присвоить значение переменной.

Это следует использовать в оптимизаторах вместо variable.assign(value) для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменная может быть переменной модели или переменной оптимизатора; это может быть переменная родного бэкенда или переменная Keras.

assign_add

Просмотреть исходный код

assign_add(
    variable, value
)

Добавить значение к переменной.

Это следует использовать в оптимизаторах вместо variable.assign_add(value) для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменная может быть переменной модели или переменной оптимизатора; это может быть переменная родного бэкенда или переменная Keras.

assign_sub

Просмотреть исходный код

assign_sub(
    variable, value
)

Вычесть значение из переменной.

Это следует использовать в оптимизаторах вместо variable.assign_sub(value) для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменная может быть переменной модели или переменной оптимизатора; это может быть переменная родного бэкенда или переменная Keras.

build

Просмотреть исходный код

build(
    var_list
)

Инициализировать переменные оптимизатора.

Оптимизатор Adam имеет 3 типа переменных: импульсы, скорости и velocity_hat (устанавливается только при использовании amsgrad).

exclude_from_weight_decay

Просмотреть исходный код

exclude_from_weight_decay(
    var_list=None, var_names=None
)

Исключить переменные из распада весов.

Этот метод должен быть вызван перед вызовом метода build оптимизатора. Вы можете указать конкретные переменные для исключения или задать список строк как ключевые слова. Если любое из этих слов присутствует в имени переменной, она исключается.

finalize_variable_values

Просмотреть исходный код

finalize_variable_values(
    var_list
)

Установить конечное значение обучаемых переменных модели.

Иногда перед окончанием обновления переменных необходимо выполнить дополнительные шаги, например, заменить переменные модели их средним значением.

from_config

Просмотреть исходный код

@classmethod
from_config(
    config, custom_objects=None
)

Создает оптимизатор из его конфигурации.

Этот метод является обратным к методу get_config и позволяет создать тот же оптимизатор из словаря конфигурации.

get_config

Просмотреть исходный код

get_config()

Возвращает конфигурацию оптимизатора.

Конфигурация оптимизатора — это словарь Python (сериализуемый), содержащий конфигурацию оптимизатора. Позже из этой конфигурации можно повторно создать тот же оптимизатор (без сохранения состояния).

Подклассы оптимизатора должны переопределять этот метод, чтобы включать другие гиперпараметры.

load_own_variables

Просмотреть исходный код

load_own_variables(
    store
)

Устанавливает состояние объекта оптимизатора.

save_own_variables

Просмотреть исходный код

save_own_variables(
    store
)

Получить состояние объекта оптимизатора.

scale_loss

Просмотреть исходный код

scale_loss(
    loss
)

Масштабировать потерю перед вычислением градиентов.

Масштабирует потерю перед вычислением градиентов в train_step. Это в первую очередь полезно при обучении с использованием смешанной точности для предотвращения числового подтекания.

set_weights

Просмотреть исходный код

set_weights(
    weights
)

Установить веса оптимизатора.

stateless_apply

Просмотреть исходный код

stateless_apply(
    optimizer_variables, grads, trainable_variables
)

update_step

Просмотреть исходный код

update_step(
    gradient, variable, learning_rate
)

Обновление шага с учетом градиента и связанной переменной модели.