tf.contrib.opt.ShampooOptimizer

Оптимизатор Shampoo

Наследуется от: Optimizer

tf.contrib.opt.ShampooOptimizer(
    global_step=0, max_matrix_size=768, gbar_decay=0.0, gbar_weight=1.0,
    mat_gbar_decay=1.0, mat_gbar_weight=1.0, learning_rate=1.0, svd_interval=1,
    precond_update_interval=1, epsilon=0.0001, alpha=0.5, use_iterative_root=False,
    use_locking=False, name='Shampoo'
)

Вариант Adagrad, использующий одну матрицу предварительного кондиционирования для каждого измерения переменной. Подробнее см. https://arxiv.org/abs/1802.09568

gbar — это взвешенная по времени накопленная градиент: gbar[t] = gbar_decay[t] * gbar[t-1] + gbar_weight[t] * g[t]

mat_gbar — это взвешенная по времени накопленная квадрат градиента: mat_gbar_j[t] = mat_gbar_decay[t] * mat_gbar_j[t-1]

+ mat_gbar_weight[t] * gg_j[t]

где если g[t] = g_abcd, то gg_a[t] = g_abcd g_a'bcd (нотация Эйнштейна)

Правило обновления:

w[t+1] = w[t] - learning_rate[t] * Prod_j mat_gbar_j[t]^(-alpha/n) gbar[t] Опять же, mat_gbar_j[t]^(-alpha) gbar[t] — это тензорное сокращение по j-му измерению gbar[t] с первым измерением mat_gbar_j[t]^(-alpha/n), где alpha — гиперпараметр, а n — ранг переменной. Prod_j представляет собой выполнение этого сокращения для всех j от 0 до n-1.

Как правило, learning_rate является константой, но может зависеть от времени, передавая лямбда-функцию, зависящую от шага.

Методы

apply_gradients

Посмотреть исходный код

apply_gradients(
    grads_and_vars, global_step=None, name=None
)

Применить градиенты к переменным.

Это вторая часть minimize(). Она возвращает Operation, который применяет градиенты.

compute_gradients

Посмотреть исходный код

compute_gradients(
    loss, var_list=None, gate_gradients=GATE_OP, aggregation_method=None,
    colocate_gradients_with_ops=False, grad_loss=None
)

Вычислить градиенты loss для переменных в var_list.

Это первая часть minimize(). Она возвращает список пар (градиент, переменная), где «градиент» — градиент для «переменной». Обратите внимание, что «градиент» может быть Tensor, IndexedSlices, или None если для данной переменной нет градиента.

Совместимость с eager-режимом

Когда eager-режим включён, gate_gradients, aggregation_method, и colocate_gradients_with_ops игнорируются.

get_name

Посмотреть исходный код

get_name()

get_slot

Посмотреть исходный код

get_slot(
    var, name
)

Возвращает слот с именем name, созданный для var оптимизатором.

Некоторые подклассы Optimizer используют дополнительные переменные. Например, Momentum и Adagrad используют переменные для накопления обновлений. Этот метод предоставляет доступ к этим объектам Variable в случае необходимости.

Используйте get_slot_names() для получения списка имён слотов, созданных оптимизатором Optimizer.

get_slot_names

Посмотреть исходный код

get_slot_names()

Возвращает список имён слотов, созданных оптимизатором Optimizer.

См. get_slot().

minimize

Посмотреть исходный код

minimize(
    loss, global_step=None, var_list=None, gate_gradients=GATE_OP,
    aggregation_method=None, colocate_gradients_with_ops=False, name=None,
    grad_loss=None
)

Добавить операции для минимизации loss путём обновления var_list.

Этот метод просто комбинирует вызовы compute_gradients() и apply_gradients(). Если необходимо обработать градиент перед применением, вызовите compute_gradients() и apply_gradients() явно вместо использования этой функции.

Совместимость с Eager

При включенном eager выполнении loss должен быть Python-функцией без аргументов, вычисляющей значение для минимизации. Минимизация (и вычисление градиента) выполняется относительно элементов var_list, если оно не None, иначе относительно любых обучаемых переменных, созданных во время выполнения функции loss. gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss игнорируются при включенном eager выполнении.

variables

Посмотреть исходный код

variables()

Список переменных, которые кодируют текущее состояние Optimizer.

Включает переменные слотов и дополнительные глобальные переменные, созданные оптимизатором в текущей стандартной графе.

Переменные класса

• GATE_GRAPH = 2
• GATE_NONE = 0
• GATE_OP = 1