tf.contrib.opt.extend_with_decoupled_weight_decay

Функция-фабрика, возвращающая класс оптимизатора с раздельным разложением весов.

tf.contrib.opt.extend_with_decoupled_weight_decay(
    base_optimizer
)

Возвращает класс оптимизатора. Экземпляр возвращаемого класса вычисляет шаг обновления base_optimizer и дополнительно разлагает веса. Например, класс, возвращаемый extend_with_decoupled_weight_decay(tf.compat.v1.train.AdamOptimizer) , эквивалентен tf.contrib.opt.AdamWOptimizer.

API нового класса оптимизатора немного отличается от API базового оптимизатора:

• Первый аргумент конструктора — скорость разложения весов.
• minimize и apply_gradients принимают необязательный ключевой аргумент decay_var_list, который указывает переменные, которые должны быть разложены. Если None, все оптимизируемые переменные разлагаются.

Пример использования:

# MyAdamW is a new class
MyAdamW = extend_with_decoupled_weight_decay(tf.compat.v1.train.AdamOptimizer)
# Create a MyAdamW object
optimizer = MyAdamW(weight_decay=0.001, learning_rate=0.001)
sess.run(optimizer.minimize(loss, decay_variables=[var1, var2]))

Note that this extension decays weights BEFORE applying the update based
on the gradient, i.e. this extension only has the desired behaviour for
optimizers which do not depend on the value of'var' in the update step!