tf.compat.v1.train.AdagradOptimizer

Оптимизатор, реализующий алгоритм Adagrad.

Наследуется от: Optimizer

tf.compat.v1.train.AdagradOptimizer(
    learning_rate,
    initial_accumulator_value=0.1,
    use_locking=False,
    name='Adagrad'
)

tf.compat.v1.train.AdagradOptimizer совместим с eager-режимом и tf.function. Если включено eager-выполнение, learning_rate, initial_accumulator_value и epsilon могут быть вызываемыми объектами без аргументов, возвращающими фактическое используемое значение. Это может быть полезно, если нужно изменять эти значения при разных вызовах функций оптимизатора.

Чтобы перейти на встроенный стиль TF2, используйте вместо этого tf.keras.optimizers.Adagrad. Обратите внимание, что из-за различий в реализации tf.keras.optimizers.Adagrad и tf.compat.v1.train.AdagradOptimizer могут незначительно различаться по численным значениям с плавающей точкой, хотя формула обновления переменных остается той же.

Структурное соответствие встроенному TF2

До:

optimizer = tf.compat.v1.train.AdagradOptimizer(
  learning_rate=learning_rate,
  initial_accumulator_value=initial_accumulator_value)

После:

optimizer = tf.keras.optimizers.Adagrad(
  learning_rate=learning_rate,
  initial_accumulator_value=initial_accumulator_value,
  epsilon=1e-07)

Соответствие аргументов

Пример использования до и после перехода

До:

x = tf.Variable([1,2,3], dtype=tf.float32)
grad = tf.constant([0.1, 0.2, 0.3])
optimizer = tf.compat.v1.train.AdagradOptimizer(learning_rate=0.001)
optimizer.apply_gradients(zip([grad], [x]))

После:

x = tf.Variable([1,2,3], dtype=tf.float32)
grad = tf.constant([0.1, 0.2, 0.3])
optimizer = tf.keras.optimizers.Adagrad(learning_rate=0.001)
optimizer.apply_gradients(zip([grad], [x]))

Описание

Используется в блокнотах

Методы

apply_gradients

Просмотреть исходный код

apply_gradients(
    grads_and_vars,
    global_step=None,
    name=None,
    skip_gradients_aggregation=False
)

Применяет градиенты к переменным.

Это вторая часть minimize(). Возвращает Operation, применяющую градиенты.

@compatibility(TF2)

Соответствие аргументов

compute_gradients

Просмотреть исходный код

compute_gradients(
    loss,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    grad_loss=None
)

Вычисляет градиенты loss для переменных из var_list.

tf.keras.optimizers.Optimizer в TF2 не предоставляет метод compute_gradients, поэтому для получения градиентов следует использовать tf.GradientTape:

@tf.function
def train step(inputs):
  batch_data, labels = inputs
  with tf.GradientTape() as tape:
    predictions = model(batch_data, training=True)
    loss = tf.keras.losses.CategoricalCrossentropy(
        reduction=tf.keras.losses.Reduction.NONE)(labels, predictions)
  gradients = tape.gradient(loss, model.trainable_variables)
  optimizer.apply_gradients(zip(gradients, model.trainable_variables))

Аргументы: loss: Тензор, содержащий минимизируемое значение, или вызываемый объект без аргументов, возвращающий минимизируемое значение. Если включено eager-выполнение, он должен быть вызываемым объектом. var_list: Необязательный список или кортеж объектов tf.Variable, которые нужно обновить для минимизации loss. По умолчанию используется список переменных, собранных в графе под ключом GraphKeys.TRAINABLE_VARIABLES. gate_gradients: Способ управления вычислением градиентов. Может быть GATE_NONE, GATE_OP или GATE_GRAPH. aggregation_method: Указывает метод объединения слагаемых градиента. Допустимые значения определены в классе AggregationMethod. colocate_gradients_with_ops: Если True, попытаться разместить градиенты совместно с соответствующей операцией. grad_loss: Необязательно. Tensor, содержащий градиент, вычисленный для loss.

Возвращает: Список пар (градиент, переменная). Переменная присутствует всегда, но градиент может быть None.

Вызывает исключения: TypeError: Если var_list содержит что-либо, кроме объектов Variable. ValueError: Если некоторые аргументы недопустимы. RuntimeError: Если вызвано при включенном eager-выполнении, а loss не является вызываемым объектом.

@compatibility(eager) Если включено eager-выполнение, gate_gradients, aggregation_method и colocate_gradients_with_ops игнорируются.

Описание

Это первая часть minimize(). Возвращает список пар (градиент, переменная), где "градиент" — это градиент для "переменной". Обратите внимание, что "градиент" может быть Tensor, IndexedSlices или None, если для указанной переменной градиент отсутствует.

get_name

Просмотреть исходный код

get_name()

get_slot

Просмотреть исходный код

get_slot(
    var, name
)

Возвращает слот с именем name, созданный оптимизатором для var.

Некоторые подклассы Optimizer используют дополнительные переменные. Например, Momentum и Adagrad используют переменные для накопления обновлений. Этот метод предоставляет доступ к этим объектам Variable, если они вам зачем-либо понадобятся.

Используйте get_slot_names(), чтобы получить список имен слотов, созданных Optimizer.

get_slot_names

Просмотреть исходный код

get_slot_names()

Возвращает список имен слотов, созданных Optimizer.

См. get_slot().

minimize

Просмотреть исходный код

minimize(
    loss,
    global_step=None,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    name=None,
    grad_loss=None
)

Добавляет операции для минимизации loss путем обновления var_list.

Этот метод просто объединяет вызовы compute_gradients() и apply_gradients(). Если перед применением градиентов нужно обработать их, вместо этой функции явно вызовите compute_gradients() и apply_gradients().

Если включено eager-выполнение, loss должна быть функцией Python без аргументов, вычисляющей минимизируемое значение. Минимизация (и вычисление градиента) выполняется относительно элементов var_list, если этот аргумент не равен None; в противном случае — относительно всех обучаемых переменных, созданных во время выполнения функции loss. При включенном eager-выполнении игнорируются gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss.

variables

Просмотреть исходный код

variables()

Список переменных, кодирующих текущее состояние Optimizer.

Включает переменные слотов и дополнительные глобальные переменные, созданные оптимизатором в текущем графе по умолчанию.