tf.keras.optimizers.Lion

Оптимизатор, реализующий алгоритм Lion.

Наследует: Optimizer

tf.keras.optimizers.Lion(
    learning_rate=0.001,
    beta_1=0.9,
    beta_2=0.99,
    weight_decay=None,
    clipnorm=None,
    clipvalue=None,
    global_clipnorm=None,
    use_ema=False,
    ema_momentum=0.99,
    ema_overwrite_frequency=None,
    loss_scale_factor=None,
    gradient_accumulation_steps=None,
    name='lion',
    **kwargs
)

Оптимизатор Lion — это метод стохастического градиентного спуска, который использует оператор знака для управления величиной обновления, в отличие от других адаптивных оптимизаторов, таких как Adam, использующих моменты второго порядка. Благодаря этому Lion эффективнее расходует память, поскольку отслеживает только импульс. Согласно авторам (см. ссылку), преимущество в производительности по сравнению с Adam увеличивается с ростом размера пакета. Поскольку обновление Lion выполняется с помощью операции взятия знака, что приводит к большей норме, подходящая скорость обучения для Lion обычно в 3–10 раз меньше, чем для AdamW. Чтобы сохранить сопоставимую силу регуляризации (lr * wd), значение затухания весов для Lion должно быть, в свою очередь, в 3–10 раз больше, чем для AdamW.

Ссылки:

• Chen и др., 2023
• Реализация авторов

Методы

add_variable

Посмотреть исходный код

add_variable(
    shape,
    initializer='zeros',
    dtype=None,
    aggregation='mean',
    name=None
)

add_variable_from_reference

Посмотреть исходный код

add_variable_from_reference(
    reference_variable, name=None, initializer='zeros'
)

Добавляет переменную, заполненную нулями, с формой и типом данных переменной-образца.

apply

Посмотреть исходный код

apply(
    grads, trainable_variables=None
)

Обновляет обучаемые переменные в соответствии с заданными значениями градиентов.

grads должен быть списком тензоров градиентов, каждый из которых соответствует одной переменной из списка переменных, для которых был создан оптимизатор.

trainable_variables можно передать при первом вызове для создания оптимизатора.

apply_gradients

Посмотреть исходный код

apply_gradients(
    grads_and_vars
)

assign

Посмотреть исходный код

assign(
    variable, value
)

Присваивает значение переменной.

В оптимизаторах следует использовать этот метод вместо variable.assign(value) для поддержки специфичных для бэкенда оптимизаций. Обратите внимание, что переменная может быть переменной модели или оптимизатора; она может быть нативной переменной бэкенда или переменной Keras.

assign_add

Посмотреть исходный код

assign_add(
    variable, value
)

Добавляет значение к переменной.

В оптимизаторах следует использовать этот метод вместо variable.assign_add(value) для поддержки специфичных для бэкенда оптимизаций. Обратите внимание, что переменная может быть переменной модели или оптимизатора; она может быть нативной переменной бэкенда или переменной Keras.

assign_sub

Посмотреть исходный код

assign_sub(
    variable, value
)

Вычитает значение из переменной.

В оптимизаторах следует использовать этот метод вместо variable.assign_sub(value) для поддержки специфичных для бэкенда оптимизаций. Обратите внимание, что переменная может быть переменной модели или оптимизатора; она может быть нативной переменной бэкенда или переменной Keras.

build

Посмотреть исходный код

build(
    var_list
)

Инициализирует переменные оптимизатора.

У оптимизатора Lion есть одна переменная momentums.

exclude_from_weight_decay

Посмотреть исходный код

exclude_from_weight_decay(
    var_list=None, var_names=None
)

Исключает переменные из затухания весов.

Этот метод необходимо вызвать до вызова метода оптимизатора build. Можно указать переменные, которые нужно исключить, либо задать список строк в качестве ключевых слов: если одно из них встречается в имени переменной, эта переменная исключается.

finalize_variable_values

Посмотреть исходный код

finalize_variable_values(
    var_list
)

Задаёт итоговые значения обучаемых переменных модели.

Перед завершением обновления переменных иногда требуется выполнить дополнительные действия, например заменить переменные модели их средними значениями.

from_config

Посмотреть исходный код

@classmethod
from_config(
    config, custom_objects=None
)

Создаёт оптимизатор на основе его конфигурации.

Этот метод является обратным по отношению к get_config и позволяет создать такой же оптимизатор из словаря конфигурации.

get_config

Посмотреть исходный код

get_config()

Возвращает конфигурацию оптимизатора.

Конфигурация оптимизатора — это сериализуемый словарь Python, содержащий параметры оптимизатора. Позже оптимизатор можно создать заново на основе этой конфигурации (без сохранённого состояния).

Подклассам Optimizer следует переопределять этот метод, чтобы включить другие гиперпараметры.

load_own_variables

Посмотреть исходный код

load_own_variables(
    store
)

Задаёт состояние этого объекта оптимизатора.

save_own_variables

Посмотреть исходный код

save_own_variables(
    store
)

Получает состояние этого объекта оптимизатора.

scale_loss

Посмотреть исходный код

scale_loss(
    loss
)

Масштабирует функцию потерь перед вычислением градиентов.

Масштабирует функцию потерь перед вычислением градиентов в train_step. Это особенно полезно при обучении со смешанной точностью, чтобы предотвратить численное исчезновение значений.

set_weights

Посмотреть исходный код

set_weights(
    weights
)

Задаёт веса оптимизатора.

stateless_apply

Посмотреть исходный код

stateless_apply(
    optimizer_variables, grads, trainable_variables
)

update_step

Посмотреть исходный код

update_step(
    gradient, variable, learning_rate
)

Обновляет шаг с учётом градиента и соответствующей переменной модели.