tf.compat.v1.train.RMSPropOptimizer

Оптимизатор, реализующий алгоритм RMSProp (Tielemans et al.

Наследует от: Optimizer

tf.compat.v1.train.RMSPropOptimizer(
    learning_rate,
    decay=0.9,
    momentum=0.0,
    epsilon=1e-10,
    use_locking=False,
    centered=False,
    name='RMSProp'
)

tf.compat.v1.train.RMSPropOptimizer совместим с eager-режимом и tf.function. Если eager-выполнение включено, learning_rate, decay, momentum и epsilon могут быть вызываемыми объектами без аргументов, возвращающими фактическое используемое значение. Это может быть полезно, если требуется изменять эти значения при разных вызовах функций оптимизатора.

Чтобы перейти на встроенный стиль TF2, используйте вместо этого tf.keras.optimizers.RMSprop. Обратите внимание, что из-за различий в реализации tf.keras.optimizers.RMSprop и tf.compat.v1.train.RMSPropOptimizer могут незначительно различаться по численным результатам с плавающей точкой, хотя формула обновления переменных остается той же.

Структурное соответствие встроенному TF2

До:

optimizer = tf.compat.v1.train.RMSPropOptimizer(
  learning_rate=learning_rate,
  decay=decay,
  momentum=momentum,
  epsilon=epsilon)

После:

optimizer = tf.keras.optimizers.RMSprop(
  learning_rate=learning_rate,
  rho=decay,
  momentum=momentum,
  epsilon=epsilon)

Соответствие аргументов

Пример использования до и после

До:

x = tf.Variable([1,2,3], dtype=tf.float32)
grad = tf.constant([0.1, 0.2, 0.3])
optimizer = tf.compat.v1.train.RMSPropOptimizer(learning_rate=0.001)
optimizer.apply_gradients(zip([grad], [x]))

После:

x = tf.Variable([1,2,3], dtype=tf.float32)
grad = tf.constant([0.1, 0.2, 0.3])
optimizer = tf.keras.optimizers.RMSprop(learning_rate=0.001)
optimizer.apply_gradients(zip([grad], [x]))

Описание

Используется в блокнотах

2012).

Методы

apply_gradients

Посмотреть исходный код

apply_gradients(
    grads_and_vars,
    global_step=None,
    name=None,
    skip_gradients_aggregation=False
)

Применяет градиенты к переменным.

Это вторая часть minimize(). Метод возвращает Operation, применяющую градиенты.

@compatibility(TF2)

Соответствие аргументов

compute_gradients

Посмотреть исходный код

compute_gradients(
    loss,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    grad_loss=None
)

Вычисляет градиенты loss для переменных из var_list.

tf.keras.optimizers.Optimizer в TF2 не предоставляет метод compute_gradients, поэтому для получения градиентов следует использовать tf.GradientTape:

@tf.function
def train step(inputs):
  batch_data, labels = inputs
  with tf.GradientTape() as tape:
    predictions = model(batch_data, training=True)
    loss = tf.keras.losses.CategoricalCrossentropy(
        reduction=tf.keras.losses.Reduction.NONE)(labels, predictions)
  gradients = tape.gradient(loss, model.trainable_variables)
  optimizer.apply_gradients(zip(gradients, model.trainable_variables))

Аргументы: loss: тензор, содержащий минимизируемое значение, или вызываемый объект без аргументов, возвращающий минимизируемое значение. При включенном eager-выполнении он должен быть вызываемым объектом. var_list: необязательный список или кортеж объектов tf.Variable, которые необходимо обновить для минимизации loss. По умолчанию используется список переменных, собранных в графе под ключом GraphKeys.TRAINABLE_VARIABLES. gate_gradients: способ управления вычислением градиентов. Может принимать значение GATE_NONE, GATE_OP или GATE_GRAPH. aggregation_method: указывает метод объединения слагаемых градиента. Допустимые значения определены в классе AggregationMethod. colocate_gradients_with_ops: если True, попытаться разместить градиенты рядом с соответствующей операцией. grad_loss: необязательно. Tensor, содержащий градиент, вычисленный для loss.

Возвращает: список пар (градиент, переменная). Переменная присутствует всегда, но градиент может быть None.

Вызывает исключения: TypeError: если var_list содержит объекты, отличные от объектов Variable. ValueError: если некоторые аргументы недопустимы. RuntimeError: если вызвано при включенном eager-выполнении, а loss не является вызываемым объектом.

@compatibility(eager) При включенном eager-выполнении gate_gradients, aggregation_method и colocate_gradients_with_ops игнорируются.

Описание

Это первая часть minimize(). Метод возвращает список пар (градиент, переменная), где «градиент» — это градиент для «переменной». Обратите внимание, что «градиент» может быть Tensor, IndexedSlices или None, если для данной переменной градиент отсутствует.

get_name

Посмотреть исходный код

get_name()

get_slot

Посмотреть исходный код

get_slot(
    var, name
)

Возвращает слот с именем name, созданный оптимизатором для var.

Некоторые подклассы Optimizer используют дополнительные переменные. Например, Momentum и Adagrad используют переменные для накопления обновлений. Этот метод предоставляет доступ к этим объектам Variable, если они вам зачем-либо понадобятся.

Используйте get_slot_names(), чтобы получить список имен слотов, созданных Optimizer.

get_slot_names

Посмотреть исходный код

get_slot_names()

Возвращает список имен слотов, созданных Optimizer.

См. get_slot().

minimize

Посмотреть исходный код

minimize(
    loss,
    global_step=None,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    name=None,
    grad_loss=None
)

Добавляет операции для минимизации loss путем обновления var_list.

Этот метод просто объединяет вызовы compute_gradients() и apply_gradients(). Если перед применением требуется обработать градиент, явно вызовите compute_gradients() и apply_gradients() вместо этой функции.

Если eager-выполнение включено, loss должна быть функцией Python без аргументов, вычисляющей минимизируемое значение. Минимизация (и вычисление градиента) выполняется относительно элементов var_list, если он не равен None, или относительно всех обучаемых переменных, созданных во время выполнения функции loss. При включенном eager-выполнении игнорируются gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss.

variables

Посмотреть исходный код

variables()

Список переменных, описывающих текущее состояние Optimizer.

Включает переменные слотов и дополнительные глобальные переменные, созданные оптимизатором в текущем графе по умолчанию.