tf.compat.v1.train.AdadeltaOptimizer

Оптимизатор, реализующий алгоритм Adadelta.

Наследуется от: Optimizer

tf.compat.v1.train.AdadeltaOptimizer(
    learning_rate=0.001,
    rho=0.95,
    epsilon=1e-08,
    use_locking=False,
    name='Adadelta'
)

tf.compat.v1.train.AdadeltaOptimizer совместим с режимом eager и tf.function. Когда выполнение eager включено, learning_rate, rho, и epsilon могут быть вызываемыми объектами, принимающими на вход ноль аргументов и возвращающими фактическое значение для использования. Это может быть полезно для изменения этих значений при различных вызовах функций оптимизатора.

Для перехода на стиль TF2 используйте tf.keras.optimizers.Adadelta вместо этого. Обратите внимание, что из-за различий в реализации tf.keras.optimizers.Adadelta и tf.compat.v1.train.AdadeltaOptimizer могут иметь незначительные различия в вычислениях с плавающей точкой, хотя формула, используемая для обновлений переменных, всё ещё соответствует.

Структурное отображение на родной TF2

До:

optimizer = tf.compat.v1.train.AdadeltaOptimizer(
  learning_rate=learning_rate,
  rho=rho,
  epsilon=epsilon)

После:

optimizer = tf.keras.optimizers.Adadelta(
  learning_rate=learning_rate,
  rho=rho,
  epsilon=epsilon)

Как сопоставить аргументы

Пример использования до и после

До:

x = tf.Variable([1,2,3], dtype=tf.float32)
grad = tf.constant([0.1, 0.2, 0.3])
optimizer = tf.compat.v1.train.AdadeltaOptimizer(learning_rate=0.001)
optimizer.apply_gradients(zip([grad], [x]))

После:

x = tf.Variable([1,2,3], dtype=tf.float32)
grad = tf.constant([0.1, 0.2, 0.3])
optimizer = tf.keras.optimizers.Adadelta(learning_rate=0.001)
optimizer.apply_gradients(zip([grad], [x]))

Описание

Ссылки:

ADADELTA - Метод адаптивной скорости обучения: Zeiler, 2012 (pdf)

Методы

apply_gradients

Просмотреть исходный код

apply_gradients(
    grads_and_vars, global_step=None, name=None
)

Применить градиенты к переменным.

Это вторая часть minimize(). Она возвращает Operation, который применяет градиенты.

@compatibility(TF2)

Как сопоставить аргументы

compute_gradients

Просмотреть исходный код

compute_gradients(
    loss,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    grad_loss=None
)

Вычислить градиенты loss для переменных в var_list.

tf.keras.optimizers.Optimizer в TF2 не предоставляет метод compute_gradients, и вы должны использовать tf.GradientTape для получения градиентов:

@tf.function
def train step(inputs):
  batch_data, labels = inputs
  with tf.GradientTape() as tape:
    predictions = model(batch_data, training=True)
    loss = tf.keras.losses.CategoricalCrossentropy(
        reduction=tf.keras.losses.Reduction.NONE)(labels, predictions)
  gradients = tape.gradient(loss, model.trainable_variables)
  optimizer.apply_gradients(zip(gradients, model.trainable_variables))

Аргументы: loss: тензор, содержащий значение для минимизации или вызываемый объект, принимающий на вход ноль аргументов, который возвращает значение для минимизации. При включенном eager-вычислении это должен быть вызываемый объект. var_list: Необязательный список или кортеж tf.Variable для обновления, чтобы минимизировать loss. По умолчанию это список переменных, собранных в графе под ключом GraphKeys.TRAINABLE_VARIABLES. gate_gradients: способ управления вычислением градиентов. Может быть GATE_NONE, GATE_OP, или GATE_GRAPH. aggregation_method: Указывает метод, используемый для объединения градиентных слагаемых. Допустимые значения определены в классе AggregationMethod. colocate_gradients_with_ops: Если True, то попытаться расположить градиенты вместе с соответствующей операцией. grad_loss: Необязательно. Tensor, содержащий градиент, вычисленный для loss.

Возвращаемое значение: Список пар (градиент, переменная). Переменная всегда присутствует, но градиент может быть None.

Исключения: TypeError: Если var_list содержит что-либо кроме объектов Variable. ValueError: Если некоторые аргументы некорректны. RuntimeError: Если вызван при включённом eager-вычислении и loss не является вызываемым объектом.

@compatibility(eager) При включенном eager-вычислении gate_gradients, aggregation_method, и colocate_gradients_with_ops игнорируются.

Описание

Это первая часть minimize(). Она возвращает список пар (градиент, переменная), где «градиент» — это градиент для «переменной». Обратите внимание, что «градиент» может быть Tensor, IndexedSlices, или None, если для данной переменной нет градиента.

get_name

Просмотреть исходный код

get_name()

get_slot

Просмотреть исходный код

get_slot(
    var, name
)

Возвращает слот с именем name, созданный для var оптимизатором.

Некоторые подклассы Optimizer используют дополнительные переменные. Например, Momentum и Adagrad используют переменные для накопления обновлений. Этот метод предоставляет доступ к этим объектам Variable в случае необходимости.

Используйте get_slot_names() для получения списка имён слотов, созданных Optimizer.

get_slot_names

Просмотреть исходный код

get_slot_names()

Возвращает список имён слотов, созданных Optimizer.

См. get_slot().

minimize

Просмотреть исходный код

minimize(
    loss,
    global_step=None,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    name=None,
    grad_loss=None
)

Добавляет операции для минимизации loss путём обновления var_list.

Этот метод просто объединяет вызовы compute_gradients() и apply_gradients(). Если вы хотите обработать градиент перед его применением, вызовите compute_gradients() и apply_gradients() явно вместо использования этой функции.

При включенном режиме eager execution, loss должна быть Python-функцией без аргументов, которая вычисляет значение, которое нужно минимизировать. Минимизация (и вычисление градиента) выполняется относительно элементов var_list если оно не равно None, иначе относительно всех обучаемых переменных, созданных во время выполнения функции loss. gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss игнорируются при включенном режиме eager execution.

variables

Просмотреть исходный код

variables()

Список переменных, которые кодируют текущее состояние Optimizer.

Включает переменные слотов и дополнительные глобальные переменные, созданные оптимизатором в текущем графе по умолчанию.