tf.compat.v1.train.Optimizer

Базовый класс для оптимизаторов.

tf.compat.v1.train.Optimizer(
    use_locking, name
)

Этот класс определяет API для добавления операций для обучения модели. Вы никогда не используете этот класс напрямую, а вместо этого инициализируете один из его подклассов, таких как GradientDescentOptimizer, AdagradOptimizer, или MomentumOptimizer.

Использование

# Create an optimizer with the desired parameters.
opt = GradientDescentOptimizer(learning_rate=0.1)
# Add Ops to the graph to minimize a cost by updating a list of variables.
# "cost" is a Tensor, and the list of variables contains tf.Variable
# objects.
opt_op = opt.minimize(cost, var_list=<list of variables>)

В программе обучения вам нужно будет только выполнить возвращённую операцию.

# Execute opt_op to do one step of training:
opt_op.run()

Обработка градиентов перед их применением

Вызов minimize() заботится как о вычислении градиентов, так и о их применении к переменным. Если вы хотите обработать градиенты перед их применением, вы можете использовать оптимизатор в три шага:

1. Вычислить градиенты с помощью compute_gradients().
2. Обработать градиенты как вам нужно.
3. Применить обработанные градиенты с помощью apply_gradients().

Пример:

# Create an optimizer.
opt = GradientDescentOptimizer(learning_rate=0.1)

# Compute the gradients for a list of variables.
grads_and_vars = opt.compute_gradients(loss, <list of variables>)

# grads_and_vars is a list of tuples (gradient, variable).  Do whatever you
# need to the 'gradient' part, for example cap them, etc.
capped_grads_and_vars = [(MyCapper(gv[0]), gv[1]) for gv in grads_and_vars]

# Ask the optimizer to apply the capped gradients.
opt.apply_gradients(capped_grads_and_vars)

Управление градиентами

И minimize() , и compute_gradients() принимают аргумент gate_gradients, который контролирует степень параллелизма во время применения градиентов.

Возможные значения: GATE_NONE, GATE_OP, и GATE_GRAPH.

GATE_NONE: Вычислить и применить градиенты параллельно. Это обеспечивает максимальный параллелизм в выполнении, ценой некоторой невоспроизводимости результатов. Например, два градиента matmul зависят от значений входных данных: С GATE_NONE один из градиентов может быть применён к одному из входов *до* вычисления другого градиента, что приводит к невоспроизводимым результатам.

GATE_OP: Для каждой операции убедиться, что все градиенты вычислены, прежде чем они будут использованы. Это предотвращает гонки для операций, генерирующих градиенты для нескольких входных данных, где градиенты зависят от входных данных.

GATE_GRAPH: Убедиться, что все градиенты для всех переменных вычислены, прежде чем любая из них будет использована. Это обеспечивает наименьший параллелизм, но может быть полезно, если вы хотите обработать все градиенты, прежде чем применить любой из них.

Слоты

Некоторые подклассы оптимизаторов, такие как MomentumOptimizer и AdagradOptimizer выделяют и управляют дополнительными переменными, связанными с переменными для обучения. Они называются слотами. Слоты имеют имена, и вы можете запросить у оптимизатора имена слотов, которые он использует. После получения имени слота вы можете запросить у оптимизатора переменную, созданную для хранения значения слота.

Это может быть полезно, если вы хотите вести журнал отладки алгоритма обучения, отслеживать статистику по слотам и т.д.

Методы

apply_gradients

Просмотреть исходный код

apply_gradients(
    grads_and_vars, global_step=None, name=None
)

Применить градиенты к переменным.

Это вторая часть minimize(). Она возвращает операцию Operation, которая применяет градиенты.

compute_gradients

Просмотреть исходный код

compute_gradients(
    loss, var_list=None, gate_gradients=GATE_OP, aggregation_method=None,
    colocate_gradients_with_ops=False, grad_loss=None
)

Вычислить градиенты loss для переменных в var_list.

Это первая часть minimize(). Она возвращает список пар (градиент, переменная), где "градиент" — градиент для "переменной". Обратите внимание, что "градиент" может быть Tensor, IndexedSlices, или None, если для данной переменной нет градиента.

Совместимость с eager execution

При включённом режиме eager execution параметры gate_gradients, aggregation_method, и colocate_gradients_with_ops игнорируются.

get_name

Просмотреть исходный код

get_name()

get_slot

Просмотреть исходный код

get_slot(
    var, name
)

Возвращает слот с именем name , созданный для var оптимизатором.

Некоторые подклассы оптимизаторов используют дополнительные переменные. Например, Momentum и Adagrad используют переменные для накопления обновлений. Этот метод даёт доступ к этим Variable объектам, если вам они нужны по какой-либо причине.

Используйте get_slot_names() для получения списка имён слотов, созданных оптимизатором Optimizer.

get_slot_names

Просмотреть исходный код

get_slot_names()

Возвращает список имён слотов, созданных оптимизатором Optimizer.

См. get_slot().

minimize

Просмотреть исходный код

minimize(
    loss, global_step=None, var_list=None, gate_gradients=GATE_OP,
    aggregation_method=None, colocate_gradients_with_ops=False, name=None,
    grad_loss=None
)

Добавить операции для минимизации loss путём обновления var_list.

Этот метод просто объединяет вызовы compute_gradients() и apply_gradients(). Если вы хотите обработать градиент перед его применением, вызовите compute_gradients() и apply_gradients() явным образом вместо использования этой функции.

Совместимость с Eager

Когда включено выполнение eager, loss должна быть Python-функцией без аргументов, вычисляющей значение для минимизации. Минимизация (и вычисление градиента) выполняется относительно элементов var_list если не None, иначе относительно любых обучаемых переменных, созданных во время выполнения функции loss. gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss игнорируются при включенном eager-выполнении.

variables

Просмотреть исходный код

variables()

Список переменных, которые кодируют текущее состояние Optimizer.

Включает переменные слотов и дополнительные глобальные переменные, созданные оптимизатором в текущей по умолчанию графе.