tf.keras.optimizers.Adadelta

Оптимизатор, реализующий алгоритм Adadelta.

Наследуется от: Optimizer

tf.keras.optimizers.Adadelta(
    learning_rate=0.001,
    rho=0.95,
    epsilon=1e-07,
    weight_decay=None,
    clipnorm=None,
    clipvalue=None,
    global_clipnorm=None,
    use_ema=False,
    ema_momentum=0.99,
    ema_overwrite_frequency=None,
    loss_scale_factor=None,
    gradient_accumulation_steps=None,
    name='adadelta',
    **kwargs
)

Оптимизация Adadelta — метод стохастического градиентного спуска, основанный на адаптивном значении скорости обучения по каждой размерности для устранения двух недостатков:

• Постоянное уменьшение скорости обучения на протяжении обучения.
• Необходимость ручного выбора глобальной скорости обучения.

Adadelta — более надёжное расширение Adagrad, которое адаптирует скорости обучения на основе скользящего окна обновлений градиента вместо накопления всех прошлых градиентов. Таким образом, Adadelta продолжает обучение даже после множества обновлений. По сравнению с Adagrad, в оригинальной версии Adadelta не нужно задавать начальную скорость обучения. В этой версии начальную скорость обучения можно задать, как и в большинстве других оптимизаторов Keras.

Ссылка:

• Zeiler, 2012

Методы

add_variable

Просмотреть исходный код

add_variable(
    shape,
    initializer='zeros',
    dtype=None,
    aggregation='mean',
    name=None
)

add_variable_from_reference

Просмотреть исходный код

add_variable_from_reference(
    reference_variable, name=None, initializer='zeros'
)

Добавление переменной, заполненной нулями, с формой и типом данных переменной-ссылки.

apply

Просмотреть исходный код

apply(
    grads, trainable_variables=None
)

Обновление обучаемых переменных в соответствии с предоставленными значениями градиента.

grads должен быть списком тензоров градиента с 1:1 сопоставлением со списком переменных, с которыми был построен оптимизатор.

trainable_variables можно предоставить при первом вызове для построения оптимизатора.

apply_gradients

Просмотреть исходный код

apply_gradients(
    grads_and_vars
)

assign

Просмотреть исходный код

assign(
    variable, value
)

Присвоение значения переменной.

Это следует использовать в оптимизаторах вместо variable.assign(value) для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменная может быть переменной модели или переменной оптимизатора; она может быть переменной, специфичной для бэкенда, или переменной Keras.

assign_add

Просмотреть исходный код

assign_add(
    variable, value
)

Добавление значения к переменной.

Это следует использовать в оптимизаторах вместо variable.assign_add(value) для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменная может быть переменной модели или переменной оптимизатора; она может быть переменной, специфичной для бэкенда, или переменной Keras.

assign_sub

Просмотреть исходный код

assign_sub(
    variable, value
)

Вычитание значения из переменной.

Это следует использовать в оптимизаторах вместо variable.assign_sub(value) для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменная может быть переменной модели или переменной оптимизатора; она может быть переменной, специфичной для бэкенда, или переменной Keras.

build

Просмотреть исходный код

build(
    var_list
)

exclude_from_weight_decay

Просмотреть исходный код

exclude_from_weight_decay(
    var_list=None, var_names=None
)

Исключение переменных из распада весов.

Этот метод необходимо вызвать перед вызовом метода build оптимизатора. Вы можете задать определенные переменные для исключения, или список строк в качестве ключевых слов, если хоть одно из них присутствует в имени переменной, то переменная исключается.

finalize_variable_values

Просмотреть исходный код

finalize_variable_values(
    var_list
)

Установите конечное значение обучаемых переменных модели.

Иногда перед завершением обновлений переменных необходимо выполнить дополнительные действия, такие как переопределение переменных модели их средним значением.

from_config

Просмотреть исходный код

@classmethod
from_config(
    config, custom_objects=None
)

Создаёт оптимизатор из его конфигурации.

Этот метод является обратным к методу get_config, позволяющему восстановить тот же оптимизатор из словаря конфигурации.

get_config

Просмотреть исходный код

get_config()

Возвращает конфигурацию оптимизатора.

Конфигурация оптимизатора — это словарь Python (сериализуемый), содержащий конфигурацию оптимизатора. Этот же оптимизатор можно будет восстановить позже (без сохранения состояния) из этой конфигурации.

Подклассы оптимизатора должны переопределить этот метод, чтобы включить другие гиперпараметры.

load_own_variables

Просмотреть исходный код

load_own_variables(
    store
)

Устанавливает состояние этого объекта оптимизатора.

save_own_variables

Просмотреть исходный код

save_own_variables(
    store
)

Получает состояние этого объекта оптимизатора.

scale_loss

Просмотреть исходный код

scale_loss(
    loss
)

Масштабирует потерю перед вычислением градиентов.

Масштабирует потерю перед вычислением градиентов в train_step. Это преимущественно полезно во время обучения с использованием смешанной точности, чтобы предотвратить численный подхват.

set_weights

Просмотреть исходный код

set_weights(
    weights
)

Устанавливает веса оптимизатора.

stateless_apply

Просмотреть исходный код

stateless_apply(
    optimizer_variables, grads, trainable_variables
)

update_step

Просмотреть исходный код

update_step(
    grad, variable, learning_rate
)

Обновление шага, заданного градиентом и связанной переменной модели.