tf.keras.optimizers.Adadelta

Оптимизатор, реализующий алгоритм Adadelta.

Наследуется от: Optimizer

tf.keras.optimizers.Adadelta(
    learning_rate=0.001,
    rho=0.95,
    epsilon=1e-07,
    weight_decay=None,
    clipnorm=None,
    clipvalue=None,
    global_clipnorm=None,
    use_ema=False,
    ema_momentum=0.99,
    ema_overwrite_frequency=None,
    loss_scale_factor=None,
    gradient_accumulation_steps=None,
    name='adadelta',
    **kwargs
)

Оптимизация Adadelta — это метод стохастического градиентного спуска, основанный на адаптивной скорости обучения для каждого измерения и предназначенный для устранения двух недостатков:

• Постоянное снижение скорости обучения в процессе обучения.
• Необходимость вручную выбирать глобальную скорость обучения.

Adadelta — это более устойчивая модификация Adagrad, которая адаптирует скорость обучения на основе скользящего окна обновлений градиента, а не накапливает все предыдущие градиенты. Благодаря этому Adadelta продолжает обучаться даже после большого количества обновлений. В отличие от Adagrad, в исходной версии Adadelta не требуется задавать начальную скорость обучения. В этой версии начальную скорость обучения можно задать, как и в большинстве других оптимизаторов Keras.

Ссылка:

• Zeiler, 2012

Методы

add_variable

Посмотреть исходный код

add_variable(
    shape,
    initializer='zeros',
    dtype=None,
    aggregation='mean',
    name=None
)

add_variable_from_reference

Посмотреть исходный код

add_variable_from_reference(
    reference_variable, name=None, initializer='zeros'
)

Добавляет переменную, заполненную нулями, с формой и типом данных переменной-образца.

apply

Посмотреть исходный код

apply(
    grads, trainable_variables=None
)

Обновляет обучаемые переменные согласно переданным значениям градиентов.

grads должен быть списком тензоров градиентов, соответствующих один к одному списку переменных, с которыми был создан оптимизатор.

trainable_variables можно передать при первом вызове для создания оптимизатора.

apply_gradients

Посмотреть исходный код

apply_gradients(
    grads_and_vars
)

assign

Посмотреть исходный код

assign(
    variable, value
)

Присваивает переменной значение.

Для поддержки оптимизаций, специфичных для бэкенда, в оптимизаторах следует использовать этот метод вместо variable.assign(value). Обратите внимание, что переменной может быть переменная модели или оптимизатора; она может быть собственной переменной бэкенда или переменной Keras.

assign_add

Посмотреть исходный код

assign_add(
    variable, value
)

Добавляет значение к переменной.

Для поддержки оптимизаций, специфичных для бэкенда, в оптимизаторах следует использовать этот метод вместо variable.assign_add(value). Обратите внимание, что переменной может быть переменная модели или оптимизатора; она может быть собственной переменной бэкенда или переменной Keras.

assign_sub

Посмотреть исходный код

assign_sub(
    variable, value
)

Вычитает значение из переменной.

Для поддержки оптимизаций, специфичных для бэкенда, в оптимизаторах следует использовать этот метод вместо variable.assign_sub(value). Обратите внимание, что переменной может быть переменная модели или оптимизатора; она может быть собственной переменной бэкенда или переменной Keras.

build

Посмотреть исходный код

build(
    var_list
)

exclude_from_weight_decay

Посмотреть исходный код

exclude_from_weight_decay(
    var_list=None, var_names=None
)

Исключает переменные из затухания весов.

Этот метод необходимо вызвать до вызова метода build оптимизатора. Можно указать конкретные переменные для исключения либо задать список строк-якорей: если любая из них встречается в имени переменной, эта переменная исключается.

finalize_variable_values

Посмотреть исходный код

finalize_variable_values(
    var_list
)

Задаёт окончательные значения обучаемых переменных модели.

Иногда перед завершением обновления переменных необходимо выполнить дополнительные действия, например заменить переменные модели их средними значениями.

from_config

Посмотреть исходный код

@classmethod
from_config(
    config, custom_objects=None
)

Создаёт оптимизатор на основе его конфигурации.

Этот метод является обратным к get_config и позволяет создать такой же оптимизатор из словаря конфигурации.

get_config

Посмотреть исходный код

get_config()

Возвращает конфигурацию оптимизатора.

Конфигурация оптимизатора — это сериализуемый словарь Python, содержащий параметры оптимизатора. Позднее этот же оптимизатор можно создать заново (без сохранённого состояния) на основе этой конфигурации.

Подкласс оптимизатора должен переопределить этот метод, чтобы включить другие гиперпараметры.

load_own_variables

Посмотреть исходный код

load_own_variables(
    store
)

Задаёт состояние этого объекта-оптимизатора.

save_own_variables

Посмотреть исходный код

save_own_variables(
    store
)

Получает состояние этого объекта-оптимизатора.

scale_loss

Посмотреть исходный код

scale_loss(
    loss
)

Масштабирует функцию потерь перед вычислением градиентов.

Масштабирует функцию потерь перед вычислением градиентов в train_step. Это особенно полезно при обучении со смешанной точностью для предотвращения численного антипереполнения.

set_weights

Посмотреть исходный код

set_weights(
    weights
)

Задаёт веса оптимизатора.

stateless_apply

Посмотреть исходный код

stateless_apply(
    optimizer_variables, grads, trainable_variables
)

update_step

Посмотреть исходный код

update_step(
    grad, variable, learning_rate
)

Обновляет шаг с учётом градиента и соответствующей переменной модели.