tf.compat.v1.train.Optimizer

Базовый класс для оптимизаторов.

tf.compat.v1.train.Optimizer(
    use_locking, name
)

Этот класс определяет API для добавления операций для обучения модели. Вы никогда не используете этот класс напрямую, а вместо этого создаёте экземпляр одного из его подклассов, таких как GradientDescentOptimizer, AdagradOptimizer, или MomentumOptimizer.

Использование

# Create an optimizer with the desired parameters.
opt = GradientDescentOptimizer(learning_rate=0.1)
# Add Ops to the graph to minimize a cost by updating a list of variables.
# "cost" is a Tensor, and the list of variables contains tf.Variable
# objects.
opt_op = opt.minimize(cost, var_list=<list of variables>)

В программе обучения вам нужно будет просто выполнить возвращённую операцию.

# Execute opt_op to do one step of training:
opt_op.run()

Обработка градиентов перед их применением

Вызов minimize() выполняет вычисление градиентов и их применение к переменным. Если вы хотите обработать градиенты перед применением, вы можете вместо этого использовать оптимизатор в три шага:

1. Вычислите градиенты с помощью compute_gradients().
2. Обработайте градиенты по вашему желанию.
3. Примените обработанные градиенты с помощью apply_gradients().

Пример:

# Create an optimizer.
opt = GradientDescentOptimizer(learning_rate=0.1)

# Compute the gradients for a list of variables.
grads_and_vars = opt.compute_gradients(loss, <list of variables>)

# grads_and_vars is a list of tuples (gradient, variable).  Do whatever you
# need to the 'gradient' part, for example cap them, etc.
capped_grads_and_vars = [(MyCapper(gv[0]), gv[1]) for gv in grads_and_vars]

# Ask the optimizer to apply the capped gradients.
opt.apply_gradients(capped_grads_and_vars)

Управление градиентами

Как minimize(), так и compute_gradients() принимают аргумент gate_gradients, который контролирует степень параллелизма при применении градиентов.

Возможные значения: GATE_NONE, GATE_OP, и GATE_GRAPH.

GATE_NONE: Вычисляйте и применяйте градиенты параллельно. Это обеспечивает максимальный параллелизм в выполнении, ценой некоторой невоспроизводимости результатов. Например, два градиента matmul зависят от входных значений: С GATE_NONE один из градиентов может быть применён к одному из входов до вычисления другого градиента, что приводит к невоспроизводимым результатам.

GATE_OP: Для каждой операции убедитесь, что все градиенты вычислены, прежде чем они будут использованы. Это предотвращает гонки для операций, генерирующих градиенты для нескольких входов, где градиенты зависят от входов.

GATE_GRAPH: Убедитесь, что все градиенты для всех переменных вычислены перед использованием любого из них. Это обеспечивает наименьший параллелизм, но может быть полезно, если вы хотите обработать все градиенты, прежде чем применять любой из них.

Слот

Некоторые подклассы оптимизаторов, такие как MomentumOptimizer и AdagradOptimizer, выделяют и управляют дополнительными переменными, связанными с переменными для обучения. Они называются слотами. Слот имеет имя, и вы можете запросить у оптимизатора имена используемых им слотов. После того, как у вас есть имя слота, вы можете запросить у оптимизатора переменную, созданную для хранения значения слота.

Это может быть полезно, если вы хотите вести журнал отладки алгоритма обучения, сообщать статистику о слотах и т. д.

Методы

apply_gradients

Просмотреть исходный код

apply_gradients(
    grads_and_vars, global_step=None, name=None
)

Применить градиенты к переменным.

Это вторая часть minimize(). Она возвращает Operation, который применяет градиенты.

compute_gradients

Просмотреть исходный код

compute_gradients(
    loss, var_list=None, gate_gradients=GATE_OP, aggregation_method=None,
    colocate_gradients_with_ops=False, grad_loss=None
)

Вычислить градиенты loss для переменных в var_list.

Это первая часть minimize(). Она возвращает список пар (градиент, переменная), где «градиент» — градиент для «переменной». Обратите внимание, что «градиент» может быть Tensor, IndexedSlices, или None, если для данной переменной нет градиента.

Совместимость с Eager

При включённом режиме Eager исполнения gate_gradients, aggregation_method, и colocate_gradients_with_ops игнорируются.

get_name

Просмотреть исходный код

get_name()

get_slot

Просмотреть исходный код

get_slot(
    var, name
)

Возвращает слот с именем name, созданный для var оптимизатором.

Некоторые подклассы Optimizer используют дополнительные переменные. Например, Momentum и Adagrad используют переменные для накопления обновлений. Этот метод предоставляет доступ к этим Variable объектам, если по какой-либо причине они нужны.

Используйте get_slot_names() , чтобы получить список имён слотов, созданных оптимизатором Optimizer.

get_slot_names

Просмотреть исходный код

get_slot_names()

Возвращает список имён слотов, созданных оптимизатором Optimizer.

См. get_slot().

minimize

Просмотреть исходный код

minimize(
    loss, global_step=None, var_list=None, gate_gradients=GATE_OP,
    aggregation_method=None, colocate_gradients_with_ops=False, name=None,
    grad_loss=None
)

Добавить операции для минимизации loss путём обновления var_list.

Этот метод просто объединяет вызовы compute_gradients() и apply_gradients() . Если вы хотите обработать градиент перед его применением, вызовите compute_gradients() и apply_gradients() явно вместо использования этой функции.

Совместимость с Eager Execution

Когда включено выполнение Eager, loss должна быть функцией Python, которая не принимает аргументов и вычисляет значение, которое нужно минимизировать. Минимизация (и вычисление градиента) выполняется относительно элементов var_list, если оно не None, иначе относительно любых обучаемых переменных, созданных во время выполнения функции loss. gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss игнорируются при включенном выполнении Eager.

variables

Просмотреть исходный код

variables()

Список переменных, которые кодируют текущее состояние Optimizer.

Включает переменные слотов и дополнительные глобальные переменные, созданные оптимизатором в текущей графе по умолчанию.

Переменные класса

• GATE_GRAPH = 2
• GATE_NONE = 0
• GATE_OP = 1