tf.keras.optimizers.experimental.Ftrl

Оптимизатор, реализующий алгоритм FTRL.

Наследуется от: Optimizer, Module

tf.keras.optimizers.experimental.Ftrl(
    learning_rate=0.001,
    learning_rate_power=-0.5,
    initial_accumulator_value=0.1,
    l1_regularization_strength=0.0,
    l2_regularization_strength=0.0,
    l2_shrinkage_regularization_strength=0.0,
    beta=0.0,
    clipnorm=None,
    clipvalue=None,
    global_clipnorm=None,
    use_ema=False,
    ema_momentum=0.99,
    ema_overwrite_frequency=None,
    jit_compile=True,
    name='Ftrl',
    **kwargs
)

"Follow The Regularized Leader" (FTRL) — алгоритм оптимизации, разработанный в Google для прогнозирования показателя кликов в начале 2010-х годов. Он наиболее подходит для мелкомасштабных моделей с большими и разреженными пространствами признаков. Алгоритм описан в работе McMahan et al., 2013. Версия Keras поддерживает как онлайн L2-регуляризацию (L2-регуляризация, описанная в вышеупомянутой статье), так и регуляризацию типа сжатия (добавление L2-штрафа к функции потерь).

Инициализация:

n = 0
sigma = 0
z = 0

Правило обновления для одной переменной w:

prev_n = n
n = n + g ** 2
sigma = (n ** -lr_power - prev_n ** -lr_power) / lr
z = z + g - sigma * w
if abs(z) < lambda_1:
  w = 0
else:
  w = (sgn(z) * lambda_1 - z) / ((beta + sqrt(n)) / alpha + lambda_2)

Обозначения:

• lr — скорость обучения
• g — градиент для переменной
• lambda_1 — сила L1-регуляризации
• lambda_2 — сила L2-регуляризации
• lr_power — показатель степени для масштабирования n.

Проверьте документацию параметра l2_shrinkage_regularization_strength для получения дополнительной информации, когда включено сжатие, в этом случае градиент заменяется градиентом со сжатием.

Методы

add_variable

Посмотреть исходный код

add_variable(
    shape, dtype=None, initializer='zeros', name=None
)

Создать переменную оптимизатора.

add_variable_from_reference

Посмотреть исходный код

add_variable_from_reference(
    model_variable, variable_name, shape=None, initial_value=None
)

Создать переменную оптимизатора из переменной модели.

Создать переменную оптимизатора на основе информации о переменной модели. Например, в оптимизаторе SGD моментум для каждой переменной модели создается соответствующая переменная моментума той же формы и типа.

aggregate_gradients

Посмотреть исходный код

aggregate_gradients(
    grads_and_vars
)

Агрегировать градиенты на всех устройствах.

По умолчанию мы будем выполнять reduce_sum градиентов по устройствам. Пользователи могут реализовать свою собственную логику агрегации, переопределяя этот метод.

apply_gradients

Посмотреть исходный код

apply_gradients(
    grads_and_vars, skip_gradients_aggregation=False
)

Применить градиенты к переменным.

build

Посмотреть исходный код

build(
    var_list
)

Инициализировать переменные оптимизатора.

compute_gradients

Посмотреть исходный код

compute_gradients(
    loss, var_list, tape=None
)

Вычислить градиенты потери на обучаемых переменных.

finalize_variable_values

Просмотреть исходный код

finalize_variable_values(
    var_list
)

Установить конечное значение обучаемых переменных модели.

Иногда перед завершением обновлений переменных есть дополнительные шаги, такие как переопределение переменных модели их средним значением.

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создаёт оптимизатор по его конфигурации.

Этот метод является обратным get_config, способным восстановить тот же оптимизатор из словаря конфигурации.

get_config

Просмотреть исходный код

get_config()

Возвращает конфигурацию оптимизатора.

Конфигурация оптимизатора — это словарь Python (сериализуемый), содержащий конфигурацию оптимизатора. Тот же оптимизатор можно позже восстановить (без сохранения состояния) из этой конфигурации.

Подклассы оптимизатора должны переопределить этот метод, чтобы включить другие гиперпараметры.

minimize

Просмотреть исходный код

minimize(
    loss, var_list, tape=None
)

Минимизировать loss путём обновления var_list.

Этот метод просто вычисляет градиент с помощью tf.GradientTape и вызывает apply_gradients(). Если вы хотите обработать градиент перед применением, то вызовите tf.GradientTape и apply_gradients() явно вместо использования этой функции.

update_step

Просмотреть исходный код

update_step(
    gradient, variable
)

Обновление шага с учетом градиента и соответствующей переменной модели.