tf.compat.v1.train.AdamOptimizer

Оптимизатор, реализующий алгоритм Adam.

Наследует: Optimizer

tf.compat.v1.train.AdamOptimizer(
    learning_rate=0.001,
    beta1=0.9,
    beta2=0.999,
    epsilon=1e-08,
    use_locking=False,
    name='Adam'
)

tf.compat.v1.train.AdamOptimizer совместим с eager mode и tf.function. Если eager execution включён, learning_rate, beta1, beta2 и epsilon могут быть вызываемыми объектами без аргументов, возвращающими фактическое используемое значение. Это может быть полезно, если требуется изменять эти значения при разных вызовах функций оптимизатора.

Чтобы перейти на нативный стиль TF2, используйте вместо этого tf.keras.optimizers.Adam. Обратите внимание: из-за различий в реализации tf.keras.optimizers.Adam и tf.compat.v1.train.AdamOptimizer могут незначительно различаться по результатам вычислений с плавающей запятой, хотя формула обновления переменных остаётся той же.

Структурное соответствие нативному TF2

До:

optimizer = tf.compat.v1.train.AdamOptimizer(learning_rate=0.001)

После:

optimizer = tf.keras.optimizers.Adam(learning_rate=0.001)

Соответствие аргументов

Пример использования до и после перехода

До:

x = tf.Variable([1,2,3], dtype=tf.float32)
grad = tf.constant([0.1, 0.2, 0.3])
optimizer = tf.compat.v1.train.AdamOptimizer(learning_rate=0.001)
optimizer.apply_gradients(zip([grad], [x]))

После:

x = tf.Variable([1,2,3], dtype=tf.float32)
grad = tf.constant([0.1, 0.2, 0.3])
optimizer = tf.keras.optimizers.Adam(learning_rate=0.001)
optimizer.apply_gradients(zip([grad], [x]))

Описание

Используется в блокнотах

Методы

apply_gradients

Просмотреть исходный код

apply_gradients(
    grads_and_vars,
    global_step=None,
    name=None,
    skip_gradients_aggregation=False
)

Применяет градиенты к переменным.

Это вторая часть minimize(). Возвращает Operation, применяющую градиенты.

@compatibility(TF2)

Соответствие аргументов

compute_gradients

Просмотреть исходный код

compute_gradients(
    loss,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    grad_loss=None
)

Вычисляет градиенты loss для переменных в var_list.

tf.keras.optimizers.Optimizer в TF2 не предоставляет метод compute_gradients, поэтому для получения градиентов следует использовать tf.GradientTape:

@tf.function
def train step(inputs):
  batch_data, labels = inputs
  with tf.GradientTape() as tape:
    predictions = model(batch_data, training=True)
    loss = tf.keras.losses.CategoricalCrossentropy(
        reduction=tf.keras.losses.Reduction.NONE)(labels, predictions)
  gradients = tape.gradient(loss, model.trainable_variables)
  optimizer.apply_gradients(zip(gradients, model.trainable_variables))

Аргументы: loss: тензор, содержащий минимизируемое значение, или вызываемый объект без аргументов, возвращающий минимизируемое значение. Если eager execution включён, это должен быть вызываемый объект. var_list: необязательный список или кортеж объектов tf.Variable, которые нужно обновить для минимизации loss. По умолчанию используется список переменных, собранных в графе под ключом GraphKeys.TRAINABLE_VARIABLES. gate_gradients: способ управления вычислением градиентов. Может быть GATE_NONE, GATE_OP или GATE_GRAPH. aggregation_method: задаёт метод объединения слагаемых градиента. Допустимые значения определены в классе AggregationMethod. colocate_gradients_with_ops: если True, пытается разместить градиенты совместно с соответствующей операцией. grad_loss: необязательный Tensor, содержащий градиент, вычисленный для loss.

Возвращает: список пар (градиент, переменная). Переменная присутствует всегда, но градиент может быть None.

Исключения: TypeError: если var_list содержит что-либо, кроме объектов Variable. ValueError: если некоторые аргументы недопустимы. RuntimeError: если метод вызван при включённом eager execution, а loss не является вызываемым объектом.

@compatibility(eager) Если eager execution включён, gate_gradients, aggregation_method и colocate_gradients_with_ops игнорируются.

Описание

Это первая часть minimize(). Возвращает список пар (градиент, переменная), где «градиент» — это градиент для «переменной». Обратите внимание, что «градиентом» может быть Tensor, IndexedSlices или None, если для данной переменной градиента нет.

get_name

Просмотреть исходный код

get_name()

get_slot

Просмотреть исходный код

get_slot(
    var, name
)

Возвращает слот с именем name, созданный оптимизатором для var.

Некоторые подклассы Optimizer используют дополнительные переменные. Например, Momentum и Adagrad используют переменные для накопления обновлений. Этот метод предоставляет доступ к таким объектам Variable, если по какой-либо причине они вам нужны.

Используйте get_slot_names(), чтобы получить список имён слотов, созданных объектом Optimizer.

get_slot_names

Просмотреть исходный код

get_slot_names()

Возвращает список имён слотов, созданных объектом Optimizer.

См. get_slot().

minimize

Просмотреть исходный код

minimize(
    loss,
    global_step=None,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    name=None,
    grad_loss=None
)

Добавляет операции для минимизации loss путём обновления var_list.

Этот метод просто объединяет вызовы compute_gradients() и apply_gradients(). Если перед применением градиентов требуется обработать их, явно вызовите compute_gradients() и apply_gradients() вместо использования этой функции.

Если eager execution включён, loss должна быть функцией Python без аргументов, которая вычисляет минимизируемое значение. Минимизация (и вычисление градиентов) выполняется относительно элементов var_list, если он не равен None; в противном случае — относительно всех обучаемых переменных, созданных во время выполнения функции loss. При включённом eager execution игнорируются gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss.

variables

Просмотреть исходный код

variables()

Список переменных, кодирующих текущее состояние Optimizer.

Включает переменные слотов и дополнительные глобальные переменные, созданные оптимизатором в текущем графе по умолчанию.