tf.compat.v1.train.MomentumOptimizer

Оптимизатор, реализующий алгоритм Momentum.

Наследуется от: Optimizer

tf.compat.v1.train.MomentumOptimizer(
    learning_rate,
    momentum,
    use_locking=False,
    name='Momentum',
    use_nesterov=False
)

tf.compat.v1.train.MomentumOptimizer совместим с eager-режимом и tf.function. При включенном eager-выполнении learning_rate,momentum могут быть вызываемыми объектами без аргументов, возвращающими фактическое используемое значение. Это может быть полезно, если нужно менять эти значения при разных вызовах функций оптимизатора.

Чтобы перейти на собственный стиль TF2, используйте напрямую tf.keras.optimizers.SGD с аргументом momentum.

Структурное соответствие собственным средствам TF2

До:

optimizer = tf.compat.v1.train.MomentumOptimizer(
  learning_rate=learning_rate,
  momentum=momentum,
  use_nesterov=use_nesterov)

После:

optimizer = tf.keras.optimizers.SGD(
  learning_rate=learning_rate,
  momentum=momentum,
  nesterov=use_nesterov)

Сопоставление аргументов

Пример использования до и после перехода

До:

x = tf.Variable([1,2,3], dtype=tf.float32)
grad = tf.constant([0.1, 0.2, 0.3])
optimizer = tf.compat.v1.train.MomentumOptimizer(
  learning_rate=0.001,
  momentum=0.9,
  use_nesterov=False)
optimizer.apply_gradients(zip([grad], [x]))

После:

x = tf.Variable([1,2,3], dtype=tf.float32)
grad = tf.constant([0.1, 0.2, 0.3])
optimizer = tf.keras.optimizers.SGD(
  learning_rate=0.001,
  momentum=0.9,
  nesterov=False)
optimizer.apply_gradients(zip([grad], [x]))

Описание

Вычисляет (если use_nesterov = False):

accumulation = momentum * accumulation + gradient
variable -= learning_rate * accumulation

Обратите внимание, что в плотной версии этого алгоритма accumulation обновляется и применяется независимо от значения градиента, тогда как разреженная версия (когда градиент является IndexedSlices, обычно из-за использования tf.gather или встраивания) обновляет только срезы переменной и соответствующие слагаемые accumulation, если эта часть переменной использовалась при прямом проходе.

Методы

apply_gradients

Посмотреть исходный код

apply_gradients(
    grads_and_vars,
    global_step=None,
    name=None,
    skip_gradients_aggregation=False
)

Применяет градиенты к переменным.

Это вторая часть minimize(). Возвращает Operation, применяющий градиенты.

@compatibility(TF2)

Сопоставление аргументов

compute_gradients

Посмотреть исходный код

compute_gradients(
    loss,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    grad_loss=None
)

Вычисляет градиенты loss для переменных в var_list.

tf.keras.optimizers.Optimizer в TF2 не предоставляет метод compute_gradients, поэтому для получения градиентов следует использовать tf.GradientTape:

@tf.function
def train step(inputs):
  batch_data, labels = inputs
  with tf.GradientTape() as tape:
    predictions = model(batch_data, training=True)
    loss = tf.keras.losses.CategoricalCrossentropy(
        reduction=tf.keras.losses.Reduction.NONE)(labels, predictions)
  gradients = tape.gradient(loss, model.trainable_variables)
  optimizer.apply_gradients(zip(gradients, model.trainable_variables))

Аргументы: loss: Тензор, содержащий минимизируемое значение, или вызываемый объект без аргументов, возвращающий минимизируемое значение. При включенном eager-выполнении он должен быть вызываемым объектом. var_list: Необязательный список или кортеж объектов tf.Variable, которые нужно обновить для минимизации loss. По умолчанию используется список переменных, собранных в графе под ключом GraphKeys.TRAINABLE_VARIABLES. gate_gradients: Способ синхронизации вычисления градиентов. Может принимать значение GATE_NONE, GATE_OP или GATE_GRAPH. aggregation_method: Задает способ объединения слагаемых градиента. Допустимые значения определены в классе AggregationMethod. colocate_gradients_with_ops: Если значение равно True, попытаться разместить градиенты вместе с соответствующей операцией. grad_loss: Необязательный параметр. Объект Tensor, содержащий градиент, вычисленный для loss.

Возвращает: Список пар (градиент, переменная). Переменная присутствует всегда, но градиент может быть None.

Вызывает исключения: TypeError: Если var_list содержит что-либо, кроме объектов Variable. ValueError: Если некоторые аргументы недопустимы. RuntimeError: Если метод вызван при включенном eager-выполнении, а loss не является вызываемым объектом.

@compatibility(eager) При включенном eager-выполнении параметры gate_gradients, aggregation_method и colocate_gradients_with_ops игнорируются.

Описание

Это первая часть minimize(). Она возвращает список пар (градиент, переменная), где «градиент» — это градиент для «переменной». Обратите внимание, что «градиент» может быть объектом Tensor, объектом IndexedSlices или значением None, если для данной переменной нет градиента.

get_name

Посмотреть исходный код

get_name()

get_slot

Посмотреть исходный код

get_slot(
    var, name
)

Возвращает слот с именем name, созданный оптимизатором для var.

Некоторые подклассы Optimizer используют дополнительные переменные. Например, Momentum и Adagrad используют переменные для накопления обновлений. Этот метод предоставляет доступ к таким объектам Variable, если они вам зачем-либо понадобятся.

Используйте get_slot_names(), чтобы получить список имен слотов, созданных Optimizer.

get_slot_names

Посмотреть исходный код

get_slot_names()

Возвращает список имен слотов, созданных Optimizer.

См. get_slot().

minimize

Посмотреть исходный код

minimize(
    loss,
    global_step=None,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    name=None,
    grad_loss=None
)

Добавляет операции для минимизации loss путем обновления var_list.

Этот метод объединяет вызовы compute_gradients() и apply_gradients(). Если перед применением градиентов нужно обработать их, вызовите compute_gradients() и apply_gradients() явно, а не используйте эту функцию.

При включенном eager-выполнении loss должна быть функцией Python без аргументов, вычисляющей минимизируемое значение. Минимизация (и вычисление градиента) выполняется относительно элементов var_list, если этот параметр не равен None; в противном случае — относительно всех обучаемых переменных, созданных во время выполнения функции loss. При включенном eager-выполнении параметры gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss игнорируются.

variables

Посмотреть исходный код

variables()

Список переменных, кодирующих текущее состояние Optimizer.

Включает переменные слотов и дополнительные глобальные переменные, созданные оптимизатором в текущем графе по умолчанию.