tf.contrib.opt.VariableClippingOptimizer

Оборачивающий оптимизатор, который обрезает норму указанных переменных после обновления.

Наследуется от: Optimizer

tf.contrib.opt.VariableClippingOptimizer(
    opt, vars_to_clip_dims, max_norm, use_locking=False,
    colocate_clip_ops_with_vars=False, name='VariableClipping'
)

Этот оптимизатор делегирует все аспекты вычисления и применения градиента базовому оптимизатору. После применения градиентов этот оптимизатор обрезает переменную, чтобы максимальная норма L2 по указанным измерениям была заданной.

Обратите внимание: это существенно отличается от обрезания нормы градиентов.

Несколько экземпляров VariableClippingOptimizer могут быть объединены для задания различных максимальных норм для различных подмножеств переменных.

Это более эффективно во время обслуживания, чем использование нормализации во время поиска по вложениям, но при этом обучение становится более затратным и гарантированные нормы меньше.

Методы

apply_gradients

Посмотреть исходный код

apply_gradients(
    grads_and_vars, global_step=None, name=None
)

Применить градиенты к переменным.

Это вторая часть minimize(). Она возвращает Operation, который применяет градиенты.

compute_gradients

Посмотреть исходный код

compute_gradients(
    *args, **kwargs
)

Вычислить градиенты loss для переменных в var_list.

Это первая часть minimize(). Она возвращает список пар (градиент, переменная), где «градиент» — градиент для «переменной». Обратите внимание, что «градиент» может быть Tensor, IndexedSlices, или None, если для данной переменной нет градиента.

Совместимость с режимом eager

Если режим eager выполнения включен, gate_gradients, aggregation_method, и colocate_gradients_with_ops игнорируются.

get_name

Посмотреть исходный код

get_name()

get_slot

Посмотреть исходный код

get_slot(
    *args, **kwargs
)

Возвращает слот с именем name, созданный для var оптимизатором.

Некоторые подклассы Optimizer используют дополнительные переменные. Например, Momentum и Adagrad используют переменные для накопления обновлений. Этот метод предоставляет доступ к этим Variable объектам, если они вам по какой-либо причине нужны.

Используйте get_slot_names() для получения списка имён слотов, созданных Optimizer.

get_slot_names

Посмотреть исходный код

get_slot_names(
    *args, **kwargs
)

Возвращает список имён слотов, созданных оптимизатором.

См. get_slot().

minimize

Посмотреть исходный код

minimize(
    loss, global_step=None, var_list=None, gate_gradients=GATE_OP,
    aggregation_method=None, colocate_gradients_with_ops=False, name=None,
    grad_loss=None
)

Добавить операции для минимизации loss путём обновления var_list.

Этот метод просто объединяет вызовы compute_gradients() и apply_gradients(). Если вы хотите обработать градиент перед его применением, вызовите compute_gradients() и apply_gradients() явно вместо использования этой функции.

Жадная совместимость

При включенном жадном выполнении loss должна быть функцией Python, которая не принимает аргументов и вычисляет значение, которое требуется минимизировать. Минимизация (и вычисление градиента) выполняется относительно элементов var_list если оно не равно None, иначе относительно всех обучаемых переменных, созданных во время выполнения функции loss. gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss игнорируются при включенном жадном выполнении.

variables

Просмотреть исходный код

variables()

Список переменных, которые кодируют текущее состояние Optimizer.

Включает переменные слотов и дополнительные глобальные переменные, созданные оптимизатором в текущей стандартной графе.

Переменные класса

• GATE_GRAPH = 2
• GATE_NONE = 0
• GATE_OP = 1