tf.keras.dtensor.experimental.optimizers.Adam

Оптимизаторы, специфичные для DTensor.

Наследуется от: Adam, Optimizer, Module

tf.keras.dtensor.experimental.optimizers.Adam(
    learning_rate=0.001,
    beta_1=0.9,
    beta_2=0.999,
    epsilon=1e-07,
    amsgrad=False,
    gradients_clip_option=None,
    ema_option=None,
    name='Adam',
    mesh=None
)

Основные изменения в этом классе заключаются в том, что вся логика инициализации переменных будет учитывать меш/макет.

Оптимизатор, реализующий алгоритм Adam.

Оптимизация Adam — это метод стохастического градиентного спуска, основанный на адаптивном оценивании моментов первого и второго порядка.

Согласно Kingma et al., 2014, этот метод «вычислительно эффективен, имеет небольшие требования к памяти, инвариантен к диагональному масштабированию градиентов и хорошо подходит для задач, больших по размеру данных/параметров».

Ссылка:

• Kingma et al., 2014
• Reddi et al., 2018 для amsgrad.

Примечания:

Значение 1e-7 по умолчанию для epsilon может быть не лучшим выбором в целом. Например, при обучении сети Inception на ImageNet текущим хорошим выбором является 1,0 или 0,1. Обратите внимание, что поскольку Adam использует формулу перед разделом 2.1 статьи Kingma и Ba, а не формулу в алгоритме 1, «epsilon», на которую здесь ссылаются, — это «epsilon hat» в статье.

Реализация этого алгоритма для разреженных данных (используется, когда градиент является объектом IndexedSlices, обычно из-за tf.gather или поиска встраивания в прямом проходе) применяет импульс к частям переменных, даже если они не использовались в прямом проходе (т. е. их градиент равен нулю). Затухание импульса (beta1) также применяется ко всему накопителю импульса. Это означает, что поведение в разреженных данных эквивалентно поведению в плотных данных (в отличие от некоторых реализаций импульса, которые игнорируют импульс, если часть переменной фактически не использовалась).

Методы

add_variable

Посмотреть исходный код

add_variable(
    shape, dtype=None, initializer='zeros', name=None
)

Создание переменной оптимизатора.

add_variable_from_reference

Посмотреть исходный код

add_variable_from_reference(
    model_variable, variable_name, initial_value=None
)

Создание переменной оптимизатора из переменной модели.

Создание переменной оптимизатора на основе информации о переменной модели. Например, в оптимизаторе SGD momentum для каждой переменной модели создается соответствующая переменная momentum той же формы и типа данных.

apply_gradients

Посмотреть исходный код

apply_gradients(
    grads_and_vars
)

Применение градиентов к переменным.

build

Посмотреть исходный код

build(
    var_list
)

Инициализация переменных оптимизатора.

Оптимизатор Adam имеет 3 типа переменных: моменты, скорости и скорость_hat (задается только при применении amsgrad).

compute_gradients

Посмотреть исходный код

compute_gradients(
    loss, var_list, tape=None
)

Вычисление градиентов функции потерь по обучаемым переменным.

finalize_variable_values

Просмотреть исходный код

finalize_variable_values(
    var_list
)

Устанавливает конечное значение обучаемых переменных модели.

Иногда перед завершением обновлений переменных выполняется несколько дополнительных шагов, таких как переопределение переменных модели их средним значением.

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создаёт оптимизатор по его конфигурации.

Этот метод является обратным к get_config, способным создать тот же оптимизатор из словаря конфигурации.

get_config

Просмотреть исходный код

get_config()

Возвращает конфигурацию оптимизатора.

Конфигурация оптимизатора — это словарь Python (сериализуемый), содержащий конфигурацию оптимизатора. Позже из этой конфигурации можно восстановить тот же оптимизатор (без сохранения состояния).

Подклассы оптимизатора должны переопределить этот метод, чтобы включить другие гиперпараметры.

minimize

Просмотреть исходный код

minimize(
    loss, var_list, tape=None
)

Минимизировать loss путём обновления var_list.

Этот метод просто вычисляет градиент с помощью tf.GradientTape и вызывает apply_gradients(). Если вы хотите обработать градиент перед применением, то вызовите tf.GradientTape и apply_gradients() явно, вместо использования этой функции.

update_step

Просмотреть исходный код

update_step(
    gradient, variable
)

Шаг обновления, учитывая градиент и связанную переменную модели.