tf.contrib.constrained_optimization.AdditiveSwapRegretOptimizer

Алгоритм, основанный на минимизации сожаления при обмене.

Этот алгоритм использует заданные оптимизаторы для совместной минимизации по параметрам модели и максимизации по весовой матрице ограничений/целевой функции (аналог множителей Лагранжа), при этом максимизация последней выполняется с помощью аддитивных обновлений и алгоритма, минимизирующего сожаление при обмене.

Для более подробной информации, обратитесь к:

Коттер, Цзянь и Сридхаран. «Игры двух лиц для эффективной оптимизации невыпуклых ограниченных задач». https://arxiv.org/abs/1804.06500

Формулировка, используемая этим оптимизатором, приведена в определении 2 и обсуждается в разделе 4. Она наиболее похожа на алгоритм 2 в разделе 4, с отличием, что она использует оптимизаторы, а не SGD, для «внутренних» обновлений и выполняет аддитивные (а не мультипликативные) обновления стохастической матрицы.

Методы

minimize

Просмотреть исходный код

minimize(
    minimization_problem, unconstrained_steps=None, global_step=None, var_list=None,
    gate_gradients=train_optimizer.Optimizer.GATE_OP, aggregation_method=None,
    colocate_gradients_with_ops=False, name=None, grad_loss=None
)

Возвращает оператор для минимизации ограниченной задачи.

Этот метод объединяет функциональность minimize_unconstrained и minimize_constrained. Если global_step < unconstrained_steps, будет выполнено неограниченное обновление, а если global_step >= unconstrained_steps, будет выполнено ограниченное обновление.

Причина этого в том, что может быть лучше инициализировать оптимизатор ограничений приближенным оптимумом неограниченной задачи.

minimize_constrained

Просмотреть исходный код

minimize_constrained(
    minimization_problem, global_step=None, var_list=None,
    gate_gradients=train_optimizer.Optimizer.GATE_OP, aggregation_method=None,
    colocate_gradients_with_ops=False, name=None, grad_loss=None
)

Возвращает оператор для минимизации ограниченной задачи.

В отличие от minimize_unconstrained, эта функция пытается найти решение, которое минимизирует часть минимизации задачи, удовлетворяя части ограничений.

minimize_unconstrained

Просмотреть исходный код

minimize_unconstrained(
    minimization_problem, global_step=None, var_list=None,
    gate_gradients=train_optimizer.Optimizer.GATE_OP, aggregation_method=None,
    colocate_gradients_with_ops=False, name=None, grad_loss=None
)

Возвращает оператор для минимизации неограниченной задачи.

В отличие от minimize_constrained, эта функция полностью игнорирует часть ограничения (и proxy_constraints) задачи минимизации и минимизирует только objective.