tf.compat.v1.train.AdagradDAOptimizer

Алгоритм Adagrad Dual Averaging для разреженных линейных моделей.

Наследуется от: Optimizer

tf.compat.v1.train.AdagradDAOptimizer(
    learning_rate,
    global_step,
    initial_gradient_squared_accumulator_value=0.1,
    l1_regularization_strength=0.0,
    l2_regularization_strength=0.0,
    use_locking=False,
    name='AdagradDA'
)

Этот оптимизатор заботится о регуляризации отсутствующих признаков в мини-пачке, обновляя их при их появлении с помощью замкнутой формулы обновления, что эквивалентно обновлению их на каждой мини-пачке.

AdagradDA обычно используется, когда требуется большая разреженность в обученной модели. Этот оптимизатор гарантирует разреженность только для линейных моделей. Будьте осторожны при использовании AdagradDA для глубоких нейронных сетей, так как это потребует тщательной инициализации аккумуляторов градиента для обучения.

Справочные материалы:

Методы адаптивного субградиента для онлайн-обучения и стохастической оптимизации :Duchi et al., 2011 (pdf)

Методы

apply_gradients

Просмотреть исходный код

apply_gradients(
    grads_and_vars, global_step=None, name=None
)

Применение градиентов к переменным.

Это вторая часть minimize(). Она возвращает Operation, который применяет градиенты.

@compatibility(TF2)

Как сопоставить аргументы

compute_gradients

Просмотреть исходный код

compute_gradients(
    loss,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    grad_loss=None
)

Вычисление градиентов loss для переменных в var_list.

tf.keras.optimizers.Optimizer в TF2 не предоставляет метод compute_gradients, и вы должны использовать tf.GradientTape для получения градиентов:

@tf.function
def train step(inputs):
  batch_data, labels = inputs
  with tf.GradientTape() as tape:
    predictions = model(batch_data, training=True)
    loss = tf.keras.losses.CategoricalCrossentropy(
        reduction=tf.keras.losses.Reduction.NONE)(labels, predictions)
  gradients = tape.gradient(loss, model.trainable_variables)
  optimizer.apply_gradients(zip(gradients, model.trainable_variables))

Аргументы: loss: Tensor, содержащий значение для минимизации, или вызываемый объект без аргументов, возвращающий значение для минимизации. При включённом режиме Eager execution он должен быть вызываемым. var_list: Необязательный список или кортеж tf.Variable для обновления с целью минимизации loss. По умолчанию — список переменных, собранных в графе под ключом GraphKeys.TRAINABLE_VARIABLES. gate_gradients: Способ управления вычислением градиентов. Может быть GATE_NONE, GATE_OP, или GATE_GRAPH. aggregation_method: Определяет метод объединения градиентных членов. Допустимые значения определены в классе AggregationMethod. colocate_gradients_with_ops: Если True, попробуйте расположить градиенты вместе с соответствующей операцией. grad_loss: Необязательно. Tensor, содержащий вычисленный градиент для loss.

Возвращает: Список пар (градиент, переменная). Переменная всегда присутствует, но градиент может быть None.

Исключения: TypeError: Если var_list содержит что-либо кроме объектов Variable. ValueError: Если некоторые аргументы некорректны. RuntimeError: Если вызвана с включённым режимом Eager execution, и loss не является вызываемым.

@compatibility(eager) Когда режим Eager execution включён, gate_gradients, aggregation_method, и colocate_gradients_with_ops игнорируются.

Описание

Это первая часть minimize(). Она возвращает список пар (градиент, переменная), где "градиент" — градиент для "переменной". Обратите внимание, что "градиент" может быть тензором, скаляром или None, если для данной переменной нет градиента.

get_name

Просмотреть исходный код

get_name()

get_slot

Просмотреть исходный код

get_slot(
    var, name
)

Возвращает слот с именем name, созданный для var оптимизатором.

Некоторые подклассы оптимизаторов используют дополнительные переменные. Например, Momentum и Adagrad используют переменные для накопления обновлений. Этот метод предоставляет доступ к этим переменным, если они вам нужны.

Используйте get_slot_names() для получения списка имён слотов, созданных оптимизатором Optimizer.

get_slot_names

Просмотреть исходный код

get_slot_names()

Возвращает список имён слотов, созданных оптимизатором.

См. get_slot().

minimize

Просмотреть исходный код

minimize(
    loss,
    global_step=None,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    name=None,
    grad_loss=None
)

Добавляет операции для минимизации loss путём обновления var_list.

Этот метод просто объединяет вызовы compute_gradients() и apply_gradients(). Если нужно обработать градиент перед применением, вызовите compute_gradients() и apply_gradients() явно вместо использования этой функции.

Когда режим eager execution включён, loss должен быть Python-функцией без аргументов, вычисляющей значение для минимизации. Минимизация (и вычисление градиента) производится относительно элементов var_list если оно не None, иначе – относительно всех обучаемых переменных, созданных во время выполнения функции loss. gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss игнорируются при включённом eager execution.

variables

Просмотреть исходный код

variables()

Список переменных, кодирующих текущее состояние Optimizer.

Включает переменные слотов и дополнительные глобальные переменные, созданные оптимизатором в текущем графике по умолчанию.