tf.keras.dtensor.experimental.optimizers.Adadelta

Оптимизаторы, специфичные для DTensor.

Наследуется от: Adadelta, Optimizer, Module

tf.keras.dtensor.experimental.optimizers.Adadelta(
    learning_rate=0.001,
    rho=0.95,
    epsilon=1e-07,
    gradients_clip_option=None,
    ema_option=None,
    name='Adadelta',
    mesh=None
)

Основные изменения в этом классе заключаются в том, что вся логика инициализации переменных будет учитывать меш/макет.

Оптимизатор, реализующий алгоритм Adadelta.

Оптимизация Adadelta — это метод стохастического градиентного спуска, основанный на адаптивной скорости обучения по каждой размерности для решения двух проблем:

• Постоянное уменьшение скорости обучения в течение обучения.
• Необходимость в ручном выборе глобальной скорости обучения.

Adadelta — это более устойчивое расширение Adagrad, которое адаптирует скорости обучения, основываясь на скользящем окне обновлений градиента, а не на накоплении всех прошлых градиентов. Таким образом, Adadelta продолжает обучение даже после большого числа обновлений. В отличие от Adagrad, в исходной версии Adadelta не нужно задавать начальную скорость обучения. В этой версии начальная скорость обучения может быть задана, как и в большинстве других оптимизаторов Keras.

Ссылка:

• Zeiler, 2012

Методы

add_variable

Просмотреть исходный код

add_variable(
    shape, dtype=None, initializer='zeros', name=None
)

Создать переменную оптимизатора.

add_variable_from_reference

Просмотреть исходный код

add_variable_from_reference(
    model_variable, variable_name, initial_value=None
)

Создать переменную оптимизатора из переменной модели.

Создает переменную оптимизатора на основе информации о переменной модели. Например, в оптимизаторе SGD с моментом для каждой переменной модели создается соответствующая переменная момента того же размера и типа.

apply_gradients

Просмотреть исходный код

apply_gradients(
    grads_and_vars
)

Применить градиенты к переменным.

build

Просмотреть исходный код

build(
    var_list
)

Инициализировать переменные оптимизатора, такие как переменные импульса.

Эта функция должна быть реализована подклассами оптимизаторов, и подклассы оптимизаторов должны вызывать super().build(var_list).

compute_gradients

Просмотреть исходный код

compute_gradients(
    loss, var_list, tape=None
)

Вычислить градиенты потери на переменных обучения.

finalize_variable_values

Просмотреть исходный код

finalize_variable_values(
    var_list
)

Установить конечное значение переменных обучения модели.

Иногда перед завершением обновлений переменных есть дополнительные шаги, такие как перезапись переменных модели их средним значением.

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создаёт оптимизатор из его конфигурации.

Этот метод является обратным к get_config, способным инициализировать тот же оптимизатор из словаря конфигурации.

get_config

Просмотреть исходный код

get_config()

Возвращает конфигурацию оптимизатора.

Конфигурация оптимизатора — это словарь Python (сериализуемый), содержащий конфигурацию оптимизатора. Тот же оптимизатор можно повторно инициализировать позже (без сохранения состояния) из этой конфигурации.

Подклассы оптимизатора должны переопределять этот метод для включения других гиперпараметров.

minimize

Просмотреть исходный код

minimize(
    loss, var_list, tape=None
)

Минимизировать loss путем обновления var_list.

Этот метод просто вычисляет градиент с помощью tf.GradientTape и вызывает apply_gradients(). Если вы хотите обработать градиент перед применением, вызовите tf.GradientTape и apply_gradients() явно вместо использования этой функции.

update_step

Просмотреть исходный код

update_step(
    grad, variable
)

Шаг обновления, учитывая градиент и связанную переменную модели.