tf.keras.optimizers.Adafactor
Оптимизатор, реализующий алгоритм Adafactor.
Наследует: Optimizer
tf.keras.optimizers.Adafactor(
learning_rate=0.001,
beta_2_decay=-0.8,
epsilon_1=1e-30,
epsilon_2=0.001,
clip_threshold=1.0,
relative_step=True,
weight_decay=None,
clipnorm=None,
clipvalue=None,
global_clipnorm=None,
use_ema=False,
ema_momentum=0.99,
ema_overwrite_frequency=None,
loss_scale_factor=None,
gradient_accumulation_steps=None,
name='adafactor',
**kwargs
)
Adafactor часто используется в задачах обработки естественного языка и имеет преимущество в виде меньшего потребления памяти, поскольку сохраняет лишь частичную информацию о предыдущих градиентах.
Настройка аргументов по умолчанию основана на исходной статье (см. ссылку). Если размерность градиентов больше 2, оптимизатор Adafactor отдельно удаляет последние 2 измерения в переменных-аккумуляторах.
| Аргументы | |
|---|---|
learning_rate | Число с плавающей точкой, экземпляр keras.optimizers.schedules.LearningRateSchedule или вызываемый объект без аргументов, возвращающий фактическое используемое значение. Скорость обучения. По умолчанию — 0.001. |
beta_2_decay | Число с плавающей точкой, по умолчанию -0.8. Скорость затухания beta_2. |
epsilon_1 | Число с плавающей точкой, по умолчанию 1e-30. Небольшое смещение, не позволяющее знаменателю стать равным 0. |
epsilon_2 | Число с плавающей точкой, по умолчанию 1e-3. Небольшое смещение, предотвращающее чрезмерное уменьшение скорости обучения со временем. |
clip_threshold | Число с плавающей точкой, по умолчанию 1.0. Порог ограничения. Это часть алгоритма Adafactor, не зависящая от clipnorm, clipvalue и global_clipnorm. |
relative_step | Логическое значение, по умолчанию True. Если learning_rate — константа и relative_step=True, скорость обучения будет корректироваться с учетом текущего числа итераций. Это стандартное затухание скорости обучения в Adafactor. |
name | Строка. Имя, используемое для весов аккумулятора импульса, создаваемых оптимизатором. |
weight_decay | Число с плавающей точкой. Если задано, применяется затухание весов. |
clipnorm | Число с плавающей точкой. Если задано, градиент каждого веса ограничивается отдельно так, чтобы его норма не превышала это значение. |
clipvalue | Число с плавающей точкой. Если задано, градиент каждого веса ограничивается этим значением. |
global_clipnorm | Число с плавающей точкой. Если задано, градиенты всех весов ограничиваются так, чтобы их глобальная норма не превышала это значение. |
use_ema | Логическое значение, по умолчанию False. Если True, применяется экспоненциальное скользящее среднее (EMA). EMA заключается в вычислении экспоненциального скользящего среднего весов модели (по мере изменения значений весов после каждого обучающего пакета) и периодической замене весов их скользящим средним. |
ema_momentum | Число с плавающей точкой, по умолчанию 0.99. Используется только при use_ema=True. Это импульс, используемый при вычислении EMA весов модели: new_average = ema_momentum * old_average + (1 - ema_momentum) * current_variable_value. |
ema_overwrite_frequency | Целое число или None, по умолчанию None. Используется только при use_ema=True. Каждые ema_overwrite_frequency шагов итераций переменные модели заменяются их скользящим средним. Если задано None, оптимизатор не заменяет переменные модели в ходе обучения, поэтому в конце обучения необходимо явно заменить переменные, вызвав optimizer.finalize_variable_values() (обновляет переменные модели на месте). При использовании встроенного цикла обучения fit() это происходит автоматически после последней эпохи, и никаких дополнительных действий не требуется. |
loss_scale_factor | Число с плавающей точкой или None. Если задано число с плавающей точкой, коэффициент масштабирования умножается на значение потерь перед вычислением градиентов, а обратный коэффициент масштабирования умножается на градиенты перед обновлением переменных. Это помогает предотвратить потерю точности при обучении со смешанной точностью. В качестве альтернативы keras.optimizers.LossScaleOptimizer автоматически задает коэффициент масштабирования потерь. |
gradient_accumulation_steps | Целое число или None. Если задано целое число, переменные модели и оптимизатора обновляются не на каждом шаге, а каждые gradient_accumulation_steps шагов с использованием среднего значения градиентов, вычисленных после последнего обновления. Это называется «накоплением градиентов». Такой подход может быть полезен при очень небольшом размере пакета, чтобы уменьшить шум градиентов на каждом шаге обновления. |
Ссылка:
| Атрибуты | |
|---|---|
learning_rate | |
variables | |
Методы
add_variable
add_variable(
shape,
initializer='zeros',
dtype=None,
aggregation='mean',
name=None
)
add_variable_from_reference
add_variable_from_reference(
reference_variable, name=None, initializer='zeros'
)
Добавляет переменную, заполненную нулями, с формой и типом данных эталонной переменной.
apply
apply(
grads, trainable_variables=None
)
Обновляет обучаемые переменные в соответствии с заданными значениями градиентов.
grads должен быть списком тензоров градиентов, сопоставленных один к одному со списком переменных, для которых был создан оптимизатор.
trainable_variables можно передать при первом вызове для создания оптимизатора.
apply_gradients
apply_gradients(
grads_and_vars
)
assign
assign(
variable, value
)
Присваивает переменной значение.
В оптимизаторах этот метод следует использовать вместо variable.assign(value) для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменная может быть переменной модели или оптимизатора; она может быть нативной переменной бэкенда или переменной Keras.
| Аргументы | |
|---|---|
variable | Переменная для обновления. |
value | Значение, добавляемое к переменной. |
assign_add
assign_add(
variable, value
)
Добавляет значение к переменной.
В оптимизаторах этот метод следует использовать вместо variable.assign_add(value) для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменная может быть переменной модели или оптимизатора; она может быть нативной переменной бэкенда или переменной Keras.
| Аргументы | |
|---|---|
variable | Переменная для обновления. |
value | Значение, добавляемое к переменной. |
assign_sub
assign_sub(
variable, value
)
Вычитает значение из переменной.
В оптимизаторах этот метод следует использовать вместо variable.assign_sub(value) для поддержки оптимизаций, специфичных для бэкенда. Обратите внимание, что переменная может быть переменной модели или оптимизатора; она может быть нативной переменной бэкенда или переменной Keras.
| Аргументы | |
|---|---|
variable | Переменная для обновления. |
value | Значение, добавляемое к переменной. |
build
build(
var_list
)
Инициализирует переменные оптимизатора.
Оптимизатор Adam имеет 3 типа переменных: импульсы, скорости и velocity_hat (устанавливается только при применении amsgrad),
| Аргументы | |
|---|---|
var_list | список переменных модели, на основе которых создаются переменные Adam. |
exclude_from_weight_decay
exclude_from_weight_decay(
var_list=None, var_names=None
)
Исключает переменные из затухания весов.
Этот метод необходимо вызвать до вызова метода оптимизатора build. Можно указать конкретные переменные для исключения или задать список строк-якорей: переменная будет исключена, если любая из этих строк встречается в ее имени.
| Аргументы | |
|---|---|
var_list | Список объектов Variable, исключаемых из затухания весов. |
var_names | Список строк. Если любая строка из var_names встречается в имени переменной модели, эта переменная модели исключается из затухания весов. Например, var_names=['bias'] исключает из затухания весов все переменные смещения. |
finalize_variable_values
finalize_variable_values(
var_list
)
Задает окончательные значения обучаемых переменных модели.
Иногда перед завершением обновления переменных требуется выполнить дополнительные действия, например заменить переменные модели их средними значениями.
| Аргументы | |
|---|---|
var_list | список переменных модели. |
from_config
@classmethod
from_config(
config, custom_objects=None
)
Создает оптимизатор на основе его конфигурации.
Этот метод является обратным по отношению к get_config и позволяет создать экземпляр того же оптимизатора из словаря конфигурации.
| Аргументы | |
|---|---|
config | Словарь Python, обычно полученный в результате вызова get_config. |
custom_objects | Словарь Python, сопоставляющий имена с дополнительными объектами Python, определенными пользователем и необходимыми для повторного создания этого оптимизатора. |
| Возвращает | |
|---|---|
| Экземпляр оптимизатора. |
get_config
get_config()
Возвращает конфигурацию оптимизатора.
Конфигурация оптимизатора — это сериализуемый словарь Python, содержащий настройки оптимизатора. Позже из этой конфигурации можно повторно создать тот же оптимизатор (без сохраненного состояния).
Подкласс оптимизатора должен переопределить этот метод, чтобы включить другие гиперпараметры.
| Возвращает | |
|---|---|
| Словарь Python. |
load_own_variables
load_own_variables(
store
)
Задает состояние этого объекта оптимизатора.
save_own_variables
save_own_variables(
store
)
Возвращает состояние этого объекта оптимизатора.
scale_loss
scale_loss(
loss
)
Масштабирует значение потерь перед вычислением градиентов.
Масштабирует значение потерь перед вычислением градиентов в train_step. Это в первую очередь полезно при обучении со смешанной точностью, чтобы предотвратить числовое переполнение вниз.
set_weights
set_weights(
weights
)
Задает веса оптимизатора.
stateless_apply
stateless_apply(
optimizer_variables, grads, trainable_variables
)
update_step
update_step(
gradient, variable, learning_rate
)
Обновляет шаг с учетом градиента и соответствующей переменной модели.
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/keras/optimizers/Adafactor
