tf.contrib.constrained_optimization.AdditiveExternalRegretOptimizer

Оптимизатор, основанный на минимизации внешнего сожаления.

Этот оптимизатор использует заданные оптимизаторы tf.compat.v1.train.Optimizer для совместной минимизации по параметрам модели и максимизации по множителям Лагранжа, причём последняя максимизация выполняется с использованием аддитивных обновлений и алгоритма, минимизирующего внешнее сожаление.

Для более подробной информации обратитесь к:

Cotter, Jiang и Sridharan. "Two-Player Games for Efficient Non-Convex Constrained Optimization". https://arxiv.org/abs/1804.06500

Используемая этим оптимизатором формулировка — стандартная формулировка с помощью лагранжиана — приведена в определении 1 и обсуждается в разделе 3. Она наиболее похожа на алгоритм 3 в приложении С.3, с двумя отличиями: используются прокси-ограничения (если они предоставлены) при обновлении параметров модели и используются tf.compat.v1.train.Optimizer вместо SGD для «внутренних» обновлений.

Методы

minimize

Посмотреть исходный код

minimize(
    minimization_problem, unconstrained_steps=None, global_step=None, var_list=None,
    gate_gradients=train_optimizer.Optimizer.GATE_OP, aggregation_method=None,
    colocate_gradients_with_ops=False, name=None, grad_loss=None
)

Возвращает объект для минимизации заданной ограниченной задачи.

Этот метод объединяет функциональность minimize_unconstrained и minimize_constrained. Если global_step < unconstrained_steps, выполняется неограниченное обновление, а если global_step ≥ unconstrained_steps, выполняется ограниченное обновление.

Это сделано для того, чтобы можно было инициализировать ограниченный оптимизатор с приближенным оптимумом неограниченной задачи.

minimize_constrained

Посмотреть исходный код

minimize_constrained(
    minimization_problem, global_step=None, var_list=None,
    gate_gradients=train_optimizer.Optimizer.GATE_OP, aggregation_method=None,
    colocate_gradients_with_ops=False, name=None, grad_loss=None
)

Возвращает объект для минимизации заданной ограниченной задачи.

В отличие от minimize_unconstrained, эта функция пытается найти решение, которое минимизирует objective часть задачи минимизации, удовлетворяя constraints части.

minimize_unconstrained

Просмотреть исходный код

minimize_unconstrained(
    minimization_problem, global_step=None, var_list=None,
    gate_gradients=train_optimizer.Optimizer.GATE_OP, aggregation_method=None,
    colocate_gradients_with_ops=False, name=None, grad_loss=None
)

Возвращает оператор Operation для минимизации неограниченной задачи.

В отличие от minimize_constrained, эта функция полностью игнорирует constraints (и proxy_constraints ) часть задачи минимизации и минимизирует только objective.