tf.keras.optimizers.Lion

Оптимизатор, реализующий алгоритм Lion.

Наследуется от: Optimizer

tf.keras.optimizers.Lion(
    learning_rate=0.001,
    beta_1=0.9,
    beta_2=0.99,
    weight_decay=None,
    clipnorm=None,
    clipvalue=None,
    global_clipnorm=None,
    use_ema=False,
    ema_momentum=0.99,
    ema_overwrite_frequency=None,
    loss_scale_factor=None,
    gradient_accumulation_steps=None,
    name='lion',
    **kwargs
)

Оптимизатор Lion — это метод стохастического градиентного спуска, который использует оператор sign для контроля величины обновления, в отличие от других адаптивных оптимизаторов, таких как Adam, которые полагаются на моменты второго порядка. Это делает Lion более экономичным по памяти, поскольку он отслеживает только импульс. Согласно авторам (см. ссылку), его преимущество перед Adam растёт с размером пакета. Поскольку обновление Lion производится с помощью операции sign, что приводит к большей норме, подходящая скорость обучения для Lion обычно в 3-10 раз меньше, чем для AdamW. В свою очередь, распад весов для Lion должен быть в 3-10 раз больше, чем для AdamW, чтобы сохранить аналогичную силу (lr * wd).

Ссылки:

• Chen et al., 2023
• Реализация авторов

Методы

add_variable

Просмотреть исходный код

add_variable(
    shape,
    initializer='zeros',
    dtype=None,
    aggregation='mean',
    name=None
)

add_variable_from_reference

Просмотреть исходный код

add_variable_from_reference(
    reference_variable, name=None, initializer='zeros'
)

Добавление переменной со значениями ноль с формой и типом данных переменной-эталона.

apply

Просмотреть исходный код

apply(
    grads, trainable_variables=None
)

Обновление обучаемых переменных в соответствии с предоставленными значениями градиента.

grads должна быть списком тензоров градиента с 1:1 соответствием списку переменных, с которыми был построен оптимизатор.

trainable_variables может быть предоставлена при первом вызове для построения оптимизатора.

apply_gradients

Просмотреть исходный код

apply_gradients(
    grads_and_vars
)

assign

Просмотреть исходный код

assign(
    variable, value
)

Присвоение значения переменной.

Это следует использовать в оптимизаторах вместо variable.assign(value) для поддержки оптимизаций, специфичных для бэкэнда. Обратите внимание, что переменная может быть переменной модели или переменной оптимизатора; она может быть переменной, специфичной для бэкэнда, или переменной Keras.

assign_add

Просмотреть исходный код

assign_add(
    variable, value
)

Добавление значения к переменной.

Это следует использовать в оптимизаторах вместо variable.assign_add(value) для поддержки оптимизаций, специфичных для бэкэнда. Обратите внимание, что переменная может быть переменной модели или переменной оптимизатора; она может быть переменной, специфичной для бэкэнда, или переменной Keras.

assign_sub

Просмотреть исходный код

assign_sub(
    variable, value
)

Вычитание значения из переменной.

Это следует использовать в оптимизаторах вместо variable.assign_sub(value) для поддержки оптимизаций, специфичных для бэкэнда. Обратите внимание, что переменная может быть переменной модели или переменной оптимизатора; она может быть переменной, специфичной для бэкэнда, или переменной Keras.

build

Просмотреть исходный код

build(
    var_list
)

Инициализация переменных оптимизатора.

Оптимизатор Lion имеет одну переменную momentums.

exclude_from_weight_decay

Просмотреть исходный код

exclude_from_weight_decay(
    var_list=None, var_names=None
)

Исключить переменные из распада весов.

Этот метод необходимо вызвать до вызова метода build оптимизатора. Вы можете задать конкретные переменные для исключения или указать список строк в качестве ключевых слов, если любая из них присутствует в имени переменной, то переменная исключается.

finalize_variable_values

Просмотреть исходный код

finalize_variable_values(
    var_list
)

Установить конечное значение обучаемых переменных модели.

Иногда перед завершением обновлений переменных необходимо выполнить дополнительные шаги, например, переопределить переменные модели своим средним значением.

from_config

Просмотреть исходный код

@classmethod
from_config(
    config, custom_objects=None
)

Создает оптимизатор из его конфигурации.

Этот метод является обратным get_config и способен создать тот же оптимизатор из словаря конфигурации.

get_config

Просмотреть исходный код

get_config()

Возвращает конфигурацию оптимизатора.

Конфигурация оптимизатора — это словарь Python (сериализуемый), содержащий конфигурацию оптимизатора. Этот же оптимизатор можно повторно создать позже (без сохранения состояния) из этой конфигурации.

Подклассы оптимизатора должны переопределять этот метод, чтобы включать другие гиперпараметры.

load_own_variables

Просмотреть исходный код

load_own_variables(
    store
)

Устанавливает состояние этого объекта оптимизатора.

save_own_variables

Просмотреть исходный код

save_own_variables(
    store
)

Получить состояние этого объекта оптимизатора.

scale_loss

Просмотреть исходный код

scale_loss(
    loss
)

Масштабировать потерю перед вычислением градиентов.

Масштабирует потерю перед вычислением градиентов в train_step. Это прежде всего полезно при обучении с использованием смешанной точности, чтобы предотвратить численный недолив.

set_weights

Просмотреть исходный код

set_weights(
    weights
)

Установить веса оптимизатора.

stateless_apply

Просмотреть исходный код

stateless_apply(
    optimizer_variables, grads, trainable_variables
)

update_step

Просмотреть исходный код

update_step(
    gradient, variable, learning_rate
)

Обновить шаг, учитывая градиент и связанную переменную модели.