tf.contrib.constrained_optimization.MultiplicativeSwapRegretOptimizer

Оптимизатор, основанный на минимизации сожаления от перестановки.

Этот оптимизатор использует заданные оптимизаторы tf.compat.v1.train.Optimizer для совместной минимизации по параметрам модели и максимизации по весовой матрице ограничений/цели (аналог множителей Лагранжа), при этом последняя максимизация выполняется с помощью мультипликативных обновлений и алгоритма, минимизирующего сожаление от перестановки.

Для получения более подробной информации, пожалуйста, обратитесь к:

Cotter, Jiang и Sridharan. "Игры двух игроков для эффективной оптимизации невыпуклых ограниченных задач". https://arxiv.org/abs/1804.06500

Формулировка, используемая этим оптимизатором, представлена в определении 2 и обсуждается в разделе 4. Она наиболее похожа на алгоритм 2 в разделе 4, за исключением того, что для внутренних обновлений используются оптимизаторы tf.compat.v1.train.Optimizer, а не SGD.

Методы

minimize

Просмотреть исходный код

Возвращает операцию Operation для минимизации ограниченной задачи.

Этот метод объединяет функциональность minimize_unconstrained и minimize_constrained. Если global_step < unconstrained_steps, выполняется неограниченное обновление, а если global_step >= unconstrained_steps, выполняется ограниченное обновление.

Это сделано для того, чтобы было целесообразно инициализировать оптимизатор ограничений приблизительным оптимумом неограниченной задачи.

minimize_constrained

Просмотреть исходный код

Возвращает операцию Operation для минимизации ограниченной задачи.

В отличие от minimize_unconstrained, эта функция пытается найти решение, которое минимизирует часть objective задачи минимизации, удовлетворяя части constraints.

minimize_unconstrained

Просмотреть исходный код

Возвращает операцию Operation для минимизации неограниченной задачи.

В отличие от minimize_constrained, эта функция игнорирует часть constraints (и proxy_constraints) задачи минимизации целиком и минимизирует только objective.