tf.keras.optimizers.Adamax

Оптимизатор, реализующий алгоритм Adamax.

Наследует: Optimizer

tf.keras.optimizers.Adamax(
    learning_rate=0.001,
    beta_1=0.9,
    beta_2=0.999,
    epsilon=1e-07,
    weight_decay=None,
    clipnorm=None,
    clipvalue=None,
    global_clipnorm=None,
    use_ema=False,
    ema_momentum=0.99,
    ema_overwrite_frequency=None,
    loss_scale_factor=None,
    gradient_accumulation_steps=None,
    name='adamax',
    **kwargs
)

Adamax — вариант Adam, основанный на бесконечной норме, — представляет собой метод оптимизации первого порядка на основе градиента. Благодаря способности адаптировать скорость обучения с учетом характеристик данных он подходит для обучения на нестационарных процессах, например на речевых данных с динамически меняющимися условиями шума. Параметры по умолчанию соответствуют параметрам, приведенным в статье (см. ссылки ниже).

Инициализация:

m = 0  # Initialize initial 1st moment vector
u = 0  # Initialize the exponentially weighted infinity norm
t = 0  # Initialize timestep

Правило обновления параметра w с градиентом g описано в конце раздела 7.1 статьи (см. раздел со ссылками):

t += 1
m = beta1 * m + (1 - beta) * g
u = max(beta2 * u, abs(g))
current_lr = learning_rate / (1 - beta1 ** t)
w = w - current_lr * m / (u + epsilon)

Ссылка:

• Kingma и др., 2014

Методы

add_variable

Посмотреть исходный код

add_variable(
    shape,
    initializer='zeros',
    dtype=None,
    aggregation='mean',
    name=None
)

add_variable_from_reference

Посмотреть исходный код

add_variable_from_reference(
    reference_variable, name=None, initializer='zeros'
)

Добавляет переменную, заполненную нулями, с формой и типом данных эталонной переменной.

apply

Посмотреть исходный код

apply(
    grads, trainable_variables=None
)

Обновляет обучаемые переменные в соответствии с заданными значениями градиентов.

grads должен быть списком тензоров градиентов, каждый из которых соответствует одной переменной из списка, с которым был создан оптимизатор.

trainable_variables можно передать при первом вызове для создания оптимизатора.

apply_gradients

Посмотреть исходный код

apply_gradients(
    grads_and_vars
)

assign

Посмотреть исходный код

assign(
    variable, value
)

Присваивает переменной значение.

В оптимизаторах вместо variable.assign(value) следует использовать этот метод для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменная может быть переменной модели или оптимизатора; это может быть нативная переменная бэкенда или переменная Keras.

assign_add

Посмотреть исходный код

assign_add(
    variable, value
)

Добавляет значение к переменной.

В оптимизаторах вместо variable.assign_add(value) следует использовать этот метод для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменная может быть переменной модели или оптимизатора; это может быть нативная переменная бэкенда или переменная Keras.

assign_sub

Посмотреть исходный код

assign_sub(
    variable, value
)

Вычитает значение из переменной.

В оптимизаторах вместо variable.assign_sub(value) следует использовать этот метод для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменная может быть переменной модели или оптимизатора; это может быть нативная переменная бэкенда или переменная Keras.

build

Посмотреть исходный код

build(
    var_list
)

Инициализирует переменные оптимизатора.

Оптимизатор Adamax использует два типа переменных: импульсы (обозначаются как m) и экспоненциально взвешенную бесконечную норму (обозначается как u).

exclude_from_weight_decay

Посмотреть исходный код

exclude_from_weight_decay(
    var_list=None, var_names=None
)

Исключает переменные из затухания весов.

Этот метод необходимо вызвать до вызова метода build оптимизатора. Можно задать переменные, которые нужно исключить, или указать список строк в качестве ключевых слов: если любое из них присутствует в имени переменной, эта переменная исключается.

finalize_variable_values

Посмотреть исходный код

finalize_variable_values(
    var_list
)

Задает окончательные значения обучаемых переменных модели.

Перед завершением обновления переменных иногда необходимо выполнить дополнительные действия, например заменить переменные модели их средними значениями.

from_config

Посмотреть исходный код

@classmethod
from_config(
    config, custom_objects=None
)

Создает оптимизатор на основе его конфигурации.

Этот метод является обратным по отношению к get_config и позволяет создать экземпляр того же оптимизатора из словаря конфигурации.

get_config

Посмотреть исходный код

get_config()

Возвращает конфигурацию оптимизатора.

Конфигурация оптимизатора — это сериализуемый словарь Python, содержащий параметры оптимизатора. На основе этой конфигурации позднее можно повторно создать тот же оптимизатор (без сохраненного состояния).

Подклассы оптимизатора должны переопределять этот метод, чтобы включить другие гиперпараметры.

load_own_variables

Посмотреть исходный код

load_own_variables(
    store
)

Задает состояние этого объекта оптимизатора.

save_own_variables

Посмотреть исходный код

save_own_variables(
    store
)

Возвращает состояние этого объекта оптимизатора.

scale_loss

Посмотреть исходный код

scale_loss(
    loss
)

Масштабирует функцию потерь перед вычислением градиентов.

Масштабирует функцию потерь перед вычислением градиентов в train_step. Это особенно полезно при обучении со смешанной точностью для предотвращения численного антипереполнения.

set_weights

Посмотреть исходный код

set_weights(
    weights
)

Задает веса оптимизатора.

stateless_apply

Посмотреть исходный код

stateless_apply(
    optimizer_variables, grads, trainable_variables
)

update_step

Посмотреть исходный код

update_step(
    gradient, variable, learning_rate
)

Обновляет шаг с учетом градиента и соответствующей переменной модели.