tf.compat.v1.train.AdagradDAOptimizer

Алгоритм Adagrad Dual Averaging для разреженных линейных моделей.

Наследуется от: Optimizer

tf.compat.v1.train.AdagradDAOptimizer(
    learning_rate, global_step, initial_gradient_squared_accumulator_value=0.1,
    l1_regularization_strength=0.0, l2_regularization_strength=0.0,
    use_locking=False, name='AdagradDA'
)

Этот оптимизатор заботится о регуляризации незамеченных признаков в мини-пачке, обновляя их, когда они встречаются, с помощью замкнутой формулы обновления, что эквивалентно их обновлению на каждой мини-пачке.

AdagradDA обычно используется, когда требуется большая разреженность в обученной модели. Этот оптимизатор гарантирует разреженность только для линейных моделей. Будьте осторожны при использовании AdagradDA для глубоких нейронных сетей, так как это потребует тщательной инициализации накопителей градиента для его обучения.

Ссылки:

Adaptive Subgradient Methods for Online Learning and Stochastic Optimization :Duchi et al., 2011 (pdf)

Методы

apply_gradients

Просмотреть исходный код

apply_gradients(
    grads_and_vars, global_step=None, name=None
)

Применить градиенты к переменным.

Это вторая часть minimize(). Возвращает операцию, которая применяет градиенты.

compute_gradients

Просмотреть исходный код

compute_gradients(
    loss, var_list=None, gate_gradients=GATE_OP, aggregation_method=None,
    colocate_gradients_with_ops=False, grad_loss=None
)

Вычисление градиентов loss для переменных в var_list.

Это первая часть minimize(). Возвращает список пар (градиент, переменная), где "градиент" — градиент для "переменной". Обратите внимание, что "градиент" может быть `Tensor`, `IndexedSlices` или `None`, если для данной переменной нет градиента.

Жадный режим совместимости

При включённом жадном выполнении, gate_gradients, aggregation_method, и colocate_gradients_with_ops игнорируются.

get_name

Просмотреть исходный код

get_name()

get_slot

Просмотреть исходный код

get_slot(
    var, name
)

Возвращает слот с именем name, созданный для var оптимизатором.

Некоторые подклассы Optimizer используют дополнительные переменные. Например, Momentum и Adagrad используют переменные для накопления обновлений. Этот метод предоставляет доступ к этим Variable объектам, если они вам нужны.

Используйте get_slot_names() для получения списка имён слотов, созданных Optimizer.

get_slot_names

Просмотреть исходный код

get_slot_names()

Возвращает список имён слотов, созданных Optimizer.

См. get_slot().

minimize

Просмотреть исходный код

minimize(
    loss, global_step=None, var_list=None, gate_gradients=GATE_OP,
    aggregation_method=None, colocate_gradients_with_ops=False, name=None,
    grad_loss=None
)

Добавляет операции для минимизации loss путём обновления var_list.

Этот метод просто объединяет вызовы compute_gradients() и apply_gradients(). Если вы хотите обработать градиент перед его применением, вызовите compute_gradients() и apply_gradients() явно, вместо использования этой функции.

Ленивая совместимость

Когда включено ленивое выполнение, loss должна быть функцией Python, которая не принимает аргументов и вычисляет значение, которое нужно минимизировать. Минимизация (и вычисление градиента) выполняется относительно элементов var_list если оно не равно None, иначе относительно любых обучаемых переменных, созданных во время выполнения функции loss. gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss игнорируются при включенном ленивом выполнении.

variables

Просмотреть исходный код

variables()

Список переменных, которые кодируют текущее состояние Optimizer.

Включает переменные слотов и дополнительные глобальные переменные, созданные оптимизатором в текущей по умолчанию графе.

Переменные класса

• GATE_GRAPH = 2
• GATE_NONE = 0
• GATE_OP = 1