tf.contrib.layers.optimize_loss

Учитывая функцию потерь и параметры оптимизатора, возвращает операцию обучения.

tf.contrib.layers.optimize_loss(
    loss, global_step, learning_rate, optimizer, gradient_noise_scale=None,
    gradient_multipliers=None, clip_gradients=None, learning_rate_decay_fn=None,
    update_ops=None, variables=None, name=None, summaries=None,
    colocate_gradients_with_ops=False, increment_global_step=True
)

Различные способы передачи оптимизаторов включают:

• по строке, задающей имя оптимизатора. См. OPTIMIZER_CLS_NAMES для полного списка. Например, optimize_loss(..., optimizer='Adam').
• по функции, принимающей скорость обучения Tensor в качестве аргумента и возвращающей экземпляр Optimizer. Например, optimize_loss(..., optimizer=lambda lr: tf.compat.v1.train.MomentumOptimizer(lr, momentum=0.5)). В качестве альтернативы, если learning_rate является None, функция не принимает аргументов. Например, optimize_loss(..., learning_rate=None, optimizer=lambda: tf.compat.v1.train.MomentumOptimizer(0.5, momentum=0.5)).
• по подклассу Optimizer, имеющему конструктор с одним аргументом (аргумент — скорость обучения), такой как AdamOptimizer или AdagradOptimizer. Например, optimize_loss(..., optimizer=tf.compat.v1.train.AdagradOptimizer).
• по экземпляру подкласса Optimizer. Например, optimize_loss(..., optimizer=tf.compat.v1.train.AdagradOptimizer(0.5)).