tf.keras.optimizers.experimental.Adadelta

Оптимизатор, реализующий алгоритм Adadelta.

Наследуется от: Optimizer, Module

tf.keras.optimizers.experimental.Adadelta(
    learning_rate=0.001,
    rho=0.95,
    epsilon=1e-07,
    clipnorm=None,
    clipvalue=None,
    global_clipnorm=None,
    use_ema=False,
    ema_momentum=0.99,
    ema_overwrite_frequency=None,
    jit_compile=True,
    name='Adadelta',
    **kwargs
)

Оптимизация Adadelta — это метод стохастического градиентного спуска, основанный на адаптивном значении скорости обучения по каждому измерению для решения двух проблем:

• Постоянное уменьшение скорости обучения на протяжении обучения.
• Необходимость в ручном выборе глобальной скорости обучения.

Adadelta — более устойчивое расширение Adagrad, которое адаптирует скорости обучения на основе скользящего окна обновлений градиента вместо накопления всех прошлых градиентов. Таким образом, Adadelta продолжает обучение даже после большого числа обновлений. В отличие от Adagrad, в оригинальной версии Adadelta не нужно задавать начальную скорость обучения. В этой версии начальную скорость обучения можно задать, как и в большинстве других оптимизаторов Keras.

Ссылка:

• Zeiler, 2012

Методы

add_variable

Посмотреть исходный код

add_variable(
    shape, dtype=None, initializer='zeros', name=None
)

Создать переменную оптимизатора.

add_variable_from_reference

Посмотреть исходный код

add_variable_from_reference(
    model_variable, variable_name, shape=None, initial_value=None
)

Создать переменную оптимизатора на основе переменной модели.

Создать переменную оптимизатора, используя информацию о переменной модели. Например, в оптимизаторе SGD с импульсом для каждой переменной модели создаётся соответствующая переменная импульса той же формы и типа.

aggregate_gradients

Посмотреть исходный код

aggregate_gradients(
    grads_and_vars
)

Объединение градиентов на всех устройствах.

По умолчанию мы будем выполнять reduce_sum градиентов по устройствам. Пользователи могут реализовать свою логику агрегации, переопределяя этот метод.

apply_gradients

Посмотреть исходный код

apply_gradients(
    grads_and_vars, skip_gradients_aggregation=False
)

Применение градиентов к переменным.

build

Посмотреть исходный код

build(
    var_list
)

Инициализация переменных оптимизатора, таких как переменные импульса.

Этот метод должен быть реализован подклассами оптимизаторов, и подклассы оптимизаторов должны вызывать super().build(var_list).

compute_gradients

Посмотреть исходный код

compute_gradients(
    loss, var_list, tape=None
)

Вычисление градиентов потери на обучаемых переменных.

data-text="finalize_variable_values" id="finalize_variable_values">finalize_variable_values

Просмотреть исходный код

finalize_variable_values(
    var_list
)

Установить конечное значение обучаемых переменных модели.

Иногда перед завершением обновлений переменных есть дополнительные шаги, такие как переопределение переменных модели их средним значением.

data-text="from_config" id="from_config">from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создает оптимизатор из его конфигурации.

Этот метод является обратным к get_config, позволяющим создать тот же оптимизатор из словаря конфигурации.

data-text="get_config" id="get_config">get_config

Просмотреть исходный код

get_config()

Возвращает конфигурацию оптимизатора.

Конфигурация оптимизатора — это словарь Python (сериализуемый), содержащий конфигурацию оптимизатора. Тот же оптимизатор можно позже восстановить (без сохранённого состояния) из этой конфигурации.

Подкласс оптимизатора должен переопределить этот метод, чтобы включить другие гиперпараметры.

data-text="minimize" id="minimize">minimize

Просмотреть исходный код

minimize(
    loss, var_list, tape=None
)

Минимизировать loss обновляя var_list.

Этот метод просто вычисляет градиент с помощью tf.GradientTape и вызывает apply_gradients(). Если вы хотите обработать градиент перед применением, то вызовите tf.GradientTape и apply_gradients() явно вместо использования этой функции.

data-text="update_step" id="update_step">update_step

Просмотреть исходный код

update_step(
    grad, variable
)

Обновить шаг, заданный градиентом и связанной переменной модели.