tf.keras.optimizers.Adam

Оптимизатор, реализующий алгоритм Adam.

Наследуется от: Optimizer

tf.keras.optimizers.Adam(
    learning_rate=0.001,
    beta_1=0.9,
    beta_2=0.999,
    epsilon=1e-07,
    amsgrad=False,
    weight_decay=None,
    clipnorm=None,
    clipvalue=None,
    global_clipnorm=None,
    use_ema=False,
    ema_momentum=0.99,
    ema_overwrite_frequency=None,
    loss_scale_factor=None,
    gradient_accumulation_steps=None,
    name='adam',
    **kwargs
)

Используется в ноутбуках

Оптимизация Adam — это метод стохастического градиентного спуска, основанный на адаптивной оценке моментов первого и второго порядка.

Согласно Kingma et al., 2014, этот метод «вычислительно эффективен, требует мало памяти, инвариантен к диагональному масштабированию градиентов и хорошо подходит для задач, больших по объёму данных/параметров».

Методы

add_variable

Просмотреть исходный код

add_variable(
    shape,
    initializer='zeros',
    dtype=None,
    aggregation='mean',
    name=None
)

add_variable_from_reference

Просмотреть исходный код

add_variable_from_reference(
    reference_variable, name=None, initializer='zeros'
)

Добавляет переменную, заполненную нулями, с формой и типом данных переменной-справочника.

apply

Просмотреть исходный код

apply(
    grads, trainable_variables=None
)

Обновляет обучаемые переменные согласно предоставленным значениям градиента.

grads должна быть списком тензоров градиентов с соответствием 1:1 к списку переменных, с которыми оптимизатор был построен.

trainable_variables может быть предоставлен при первом вызове для построения оптимизатора.

apply_gradients

Просмотреть исходный код

apply_gradients(
    grads_and_vars
)

assign

Просмотреть исходный код

assign(
    variable, value
)

Присваивает значение переменной.

Это следует использовать в оптимизаторах вместо variable.assign(value) для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменная может быть переменной модели или переменной оптимизатора; она может быть переменной, специфичной для бэкенда, или переменной Keras.

assign_add

Просмотреть исходный код

assign_add(
    variable, value
)

Добавляет значение к переменной.

Это следует использовать в оптимизаторах вместо variable.assign_add(value) для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменная может быть переменной модели или переменной оптимизатора; она может быть переменной, специфичной для бэкенда, или переменной Keras.

assign_sub

Просмотр исходного кода

assign_sub(
    variable, value
)

Вычитает значение из переменной.

Это следует использовать в оптимизаторах вместо variable.assign_sub(value) для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменная может быть переменной модели или переменной оптимизатора; она может быть переменной, родной для бэкенда, или переменной Keras.

build

Просмотр исходного кода

build(
    var_list
)

Инициализация переменных оптимизатора.

Оптимизатор Adam имеет 3 типа переменных: моменты, скорости и скорость_hat (устанавливается только при применении amsgrad).

exclude_from_weight_decay

Просмотр исходного кода

exclude_from_weight_decay(
    var_list=None, var_names=None
)

Исключение переменных из распада весов.

Этот метод должен быть вызван перед вызовом метода build оптимизатора. Вы можете установить определенные переменные для исключения или задать список строк в качестве ключевых слов, если хоть одно из них присутствует в имени переменной, то переменная исключается.

finalize_variable_values

Просмотр исходного кода

finalize_variable_values(
    var_list
)

Установка конечного значения обучаемых переменных модели.

Иногда перед окончанием обновления переменных выполняется несколько дополнительных шагов, таких как перезапись переменных модели своим средним значением.

from_config

Просмотр исходного кода

@classmethod
from_config(
    config, custom_objects=None
)

Создает оптимизатор из его конфигурации.

Этот метод является обратным get_config, способным восстановить тот же оптимизатор из словаря конфигурации.

get_config

Просмотр исходного кода

get_config()

Возвращает конфигурацию оптимизатора.

Конфигурация оптимизатора — это словарь Python (сериализуемый), содержащий конфигурацию оптимизатора. Тот же оптимизатор можно повторно создать позже (без сохранения состояния) из этой конфигурации.

Подкласс оптимизатора должен переопределить этот метод, чтобы включить другие гиперпараметры.

load_own_variables

Просмотр исходного кода

load_own_variables(
    store
)

Установка состояния этого объекта оптимизатора.

save_own_variables

Просмотр исходного кода

save_own_variables(
    store
)

Получение состояния этого объекта оптимизатора.

scale_loss

Просмотр исходного кода

scale_loss(
    loss
)

Масштабирование потери перед вычислением градиентов.

Масштабирует потерю перед вычислением градиентов в train_step. Это в первую очередь полезно во время обучения с смешанной точностью, чтобы предотвратить численный подпоток.

set_weights

Просмотр исходного кода

set_weights(
    weights
)

Установка весов оптимизатора.

stateless_apply

Просмотр исходного кода

stateless_apply(
    optimizer_variables, grads, trainable_variables
)

update_step

Просмотр исходного кода

update_step(
    gradient, variable, learning_rate
)

Обновление шага с учетом градиента и связанной переменной модели.