tf.train.Optimizer

Базовый класс для оптимизаторов.

Наследуется от: CheckpointableBase

tf.train.Optimizer(
    use_locking, name
)

Этот класс определяет API для добавления операций для обучения модели. Вы никогда не используете этот класс напрямую, а вместо этого создаёте экземпляр одного из его подклассов, таких как GradientDescentOptimizer, AdagradOptimizer, или MomentumOptimizer.

Использование

# Create an optimizer with the desired parameters.
opt = GradientDescentOptimizer(learning_rate=0.1)
# Add Ops to the graph to minimize a cost by updating a list of variables.
# "cost" is a Tensor, and the list of variables contains tf.Variable
# objects.
opt_op = opt.minimize(cost, var_list=<list of variables>)

В программе обучения вам нужно будет только выполнить возвращённую операцию.

# Execute opt_op to do one step of training:
opt_op.run()

Обработка градиентов перед их применением.

Вызов minimize() заботится как о вычислении градиентов, так и о их применении к переменным. Если вы хотите обработать градиенты перед их применением, вы можете использовать оптимизатор в три этапа:

1. Вычислить градиенты с помощью compute_gradients().
2. Обработать градиенты по своему желанию.
3. Применить обработанные градиенты с помощью apply_gradients().

Пример:

# Create an optimizer.
opt = GradientDescentOptimizer(learning_rate=0.1)

# Compute the gradients for a list of variables.
grads_and_vars = opt.compute_gradients(loss, <list of variables>)

# grads_and_vars is a list of tuples (gradient, variable).  Do whatever you
# need to the 'gradient' part, for example cap them, etc.
capped_grads_and_vars = [(MyCapper(gv[0]), gv[1]) for gv in grads_and_vars]

# Ask the optimizer to apply the capped gradients.
opt.apply_gradients(capped_grads_and_vars)

Управление градиентами

И minimize() и compute_gradients() принимают аргумент gate_gradients, который контролирует степень параллелизма при применении градиентов.

Возможные значения: GATE_NONE, GATE_OP, и GATE_GRAPH.

GATE_NONE: Вычисление и применение градиентов параллельно. Это обеспечивает максимальный параллелизм в выполнении, за счёт некоторой невоспроизводимости результатов. Например, два градиента matmul зависят от входных значений: С GATE_NONE один из градиентов может быть применён к одному из входов *до* вычисления другого градиента, что приводит к невоспроизводимым результатам.

GATE_OP: Для каждой операции гарантируется, что все градиенты вычислены перед их использованием. Это предотвращает гонки для операций, генерирующих градиенты для нескольких входов, где градиенты зависят от входов.

GATE_GRAPH: Убедитесь, что все градиенты для всех переменных вычислены перед использованием любого из них. Это обеспечивает наименьший параллелизм, но может быть полезно, если вы хотите обработать все градиенты перед применением любого из них.

Слоты

Некоторые подклассы оптимизаторов, такие как MomentumOptimizer и AdagradOptimizer, выделяют и управляют дополнительными переменными, связанными с переменными, которые нужно обучить. Они называются слотами. Слоты имеют имена, и вы можете запросить у оптимизатора имена слотов, которые он использует. После получения имени слота вы можете запросить у оптимизатора переменную, созданную для хранения значения слота.

Это может быть полезно, если вы хотите вести журнал отладки алгоритма обучения, отчитываться о статистике по слотам и т. д.

Методы

apply_gradients

Просмотр исходного кода

apply_gradients(
    grads_and_vars, global_step=None, name=None
)

Применить градиенты к переменным.

Это вторая часть minimize(). Она возвращает Operation, который применяет градиенты.

compute_gradients

Просмотр исходного кода

compute_gradients(
    loss, var_list=None, gate_gradients=GATE_OP, aggregation_method=None,
    colocate_gradients_with_ops=False, grad_loss=None
)

Вычислить градиенты loss для переменных в var_list.

Это первая часть minimize(). Она возвращает список пар (градиент, переменная), где "градиент" — градиент для "переменной". Обратите внимание, что "градиент" может быть Tensor, IndexedSlices, или None, если для данной переменной нет градиента.

Совместимость с eager execution

При включённом режиме eager execution, gate_gradients, aggregation_method, и colocate_gradients_with_ops игнорируются.

get_name

Просмотр исходного кода

get_name()

get_slot

Просмотр исходного кода

get_slot(
    var, name
)

Возвращает слот с именем name, созданный для var оптимизатором.

Некоторые подклассы Optimizer используют дополнительные переменные. Например, Momentum и Adagrad используют переменные для накопления обновлений. Этот метод предоставляет доступ к этим Variable объектам, если по какой-то причине они вам нужны.

Используйте get_slot_names() для получения списка имён слотов, созданных оптимизатором Optimizer.

get_slot_names

Просмотр исходного кода

get_slot_names()

Возвращает список имён слотов, созданных оптимизатором Optimizer.

См. get_slot().

minimize

Просмотр исходного кода

minimize(
    loss, global_step=None, var_list=None, gate_gradients=GATE_OP,
    aggregation_method=None, colocate_gradients_with_ops=False, name=None,
    grad_loss=None
)

Добавить операции для минимизации loss путём обновления var_list.

Этот метод просто комбинирует вызовы compute_gradients() и apply_gradients(). Если вы хотите обработать градиент перед его применением, вызовите compute_gradients() и apply_gradients() явно вместо использования этой функции.

Совместимость с Eager Execution

При включенном режиме eager execution, loss должна быть Python-функцией без аргументов, вычисляющей значение для минимизации. Минимизация (и вычисление градиента) выполняется относительно элементов var_list если оно не None, иначе относительно любых обучаемых переменных, созданных во время выполнения функции loss. gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss игнорируются при включенном eager execution.

variables

Просмотреть исходный код

variables()

Список переменных, которые кодируют текущее состояние Optimizer.

Включает переменные слотов и дополнительные глобальные переменные, созданные оптимизатором в текущем по умолчанию графе.

Переменные класса

• GATE_GRAPH = 2
• GATE_NONE = 0
• GATE_OP = 1