tf.contrib.opt.MomentumWOptimizer

Оптимизатор, реализующий алгоритм импульса с weight_decay.

Наследуется от: DecoupledWeightDecayExtension, MomentumOptimizer

tf.contrib.opt.MomentumWOptimizer(
    weight_decay, learning_rate, momentum, use_locking=False, name='MomentumW',
    use_nesterov=False
)

Это реализация оптимизатора SGDW, описанного в статье «Fixing Weight Decay Regularization in Adam» Лощилова и Хуттера (https://arxiv.org/abs/1711.05101) ([pdf])(https://arxiv.org/pdf/1711.05101.pdf). Он вычисляет шаг обновления для train.MomentumOptimizer и дополнительно уменьшает переменную. Обратите внимание, что это отличается от добавления L2 регуляризации переменных к функции потерь. Разделение weight decay от других гиперпараметров (в частности, от скорости обучения) упрощает поиск гиперпараметров.

Для получения дополнительной информации см. документацию по оптимизатору импульса.

Обратите внимание, что этот оптимизатор также может быть создан как

extend_with_weight_decay(tf.compat.v1.train.MomentumOptimizer,
                         weight_decay=weight_decay)

Методы

apply_gradients

Просмотреть исходный код

apply_gradients(
    grads_and_vars, global_step=None, name=None, decay_var_list=None
)

Применить градиенты к переменным и уменьшить их.

Эта функция эквивалентна Optimizer.apply_gradients, за исключением того, что позволяет указать переменные, которые должны быть уменьшены, используя decay_var_list. Если decay_var_list равно None, все переменные в var_list уменьшаются.

Для получения дополнительной информации см. документацию по Optimizer.apply_gradients.

compute_gradients

Просмотреть исходный код

compute_gradients(
    loss, var_list=None, gate_gradients=GATE_OP, aggregation_method=None,
    colocate_gradients_with_ops=False, grad_loss=None
)

Вычислить градиенты loss для переменных в var_list.

Это первая часть minimize(). Возвращает список пар (градиент, переменная), где «градиент» — градиент для «переменной». Обратите внимание, что «градиент» может быть Tensor, IndexedSlices, или None, если для данной переменной нет градиента.

Совместимость с Eager-режимом

При включённом eager-режиме, gate_gradients, aggregation_method, и colocate_gradients_with_ops игнорируются.

get_name

Просмотреть исходный код

get_name()

get_slot

Просмотреть исходный код

get_slot(
    var, name
)

Возвращает слот с именем name, созданный для var оптимизатором.

Некоторые подклассы Optimizer используют дополнительные переменные. Например, Momentum и Adagrad используют переменные для накопления обновлений. Этот метод предоставляет доступ к этим Variable объектам, если вам они нужны по какой-либо причине.

Используйте get_slot_names() для получения списка имён слотов, созданных Optimizer.

get_slot_names

Просмотреть исходный код

get_slot_names()

Возвращает список имён слотов, созданных Optimizer.

См. get_slot().

minimize

Просмотреть исходный код

minimize(
    loss, global_step=None, var_list=None,
    gate_gradients=optimizer.Optimizer.GATE_OP, aggregation_method=None,
    colocate_gradients_with_ops=False, name=None, grad_loss=None,
    decay_var_list=None
)

Добавить операции для минимизации loss путем обновления var_list с уменьшением.

Эта функция эквивалентна Optimizer.minimize, за исключением того, что позволяет указать переменные, которые должны быть уменьшены, используя decay_var_list. Если decay_var_list равно None, все переменные в var_list уменьшаются.

Для получения дополнительной информации см. документацию по Optimizer.minimize.

variables

Посмотреть исходный код

variables()

Список переменных, кодирующих текущее состояние Optimizer.

Включает переменные слотов и дополнительные глобальные переменные, созданные оптимизатором в текущей стандартной графе.

Переменные класса

• GATE_GRAPH = 2
• GATE_NONE = 0
• GATE_OP = 1