tf.train.experimental.MixedPrecisionLossScaleOptimizer

Оптимизатор, применяющий масштабирование потерь.

Наследуется от: Optimizer

tf.train.experimental.MixedPrecisionLossScaleOptimizer(
    opt, loss_scale
)

Масштабирование потерь — это процесс, при котором потери умножаются на множитель, называемый масштабом потерь, а каждый градиент делится на тот же множитель. Псевдокод для этого процесса:

loss = ...
loss *= loss_scale
grads = gradients(loss, vars)
grads /= loss_scale

Математически масштабирование потерь не оказывает влияния, но может помочь избежать числового подпотока в промежуточных градиентах при использовании тензоров float16 для обучения с использованием смешанной точности. Умножая потери, каждый промежуточный градиент будет иметь применённый тот же множитель.

Масштаб потерь может быть либо фиксированной константой, выбранной пользователем, либо определяться динамически. Динамическое определение масштаба потерь удобно, так как не нужно явно выбирать масштаб потерь. Однако это снижает производительность.

Этот оптимизатор оборачивает другой оптимизатор и применяет масштабирование потерь к нему через LossScale. Масштабирование потерь применяется всякий раз, когда вычисляются градиенты, например, через minimize().

Методы

apply_gradients

Просмотреть исходный код

apply_gradients(
    grads_and_vars, global_step=None, name=None
)

Применить градиенты к переменным.

Это вторая часть minimize(). Она возвращает Operation, который условно применяет градиенты, если все значения градиента конечны. В противном случае обновление не выполняется (и global_step не увеличивается).

compute_gradients

Просмотреть исходный код

compute_gradients(
    loss, var_list=None, gate_gradients=optimizer.Optimizer.GATE_OP,
    aggregation_method=None, colocate_gradients_with_ops=False, grad_loss=None
)

Вычислить градиенты loss для переменных в var_list.

Это изменяет динамический диапазон вычисления градиентов, увеличивая значение loss. Значения градиента затем уменьшаются обратно с помощью обратной величины масштаба потерь. Это полезно при обучении с уменьшенной точностью, где малые значения градиента в противном случае подпотокуют представленный диапазон.

get_name

Просмотреть исходный код

get_name()

get_slot

Просмотреть исходный код

get_slot(
    var, name
)

Возвращает слот с именем name, созданный для var оптимизатором.

Некоторые подклассы Optimizer используют дополнительные переменные. Например, Momentum и Adagrad используют переменные для накопления обновлений. Этот метод предоставляет доступ к этим Variable объектам, если вам они по каким-то причинам необходимы.

Используйте get_slot_names() для получения списка имен слотов, созданных Optimizer.

get_slot_names

Просмотреть исходный код

get_slot_names()

Возвращает список имён слотов, созданных Optimizer.

См. get_slot().

minimize

Просмотреть исходный код

minimize(
    loss, global_step=None, var_list=None, gate_gradients=GATE_OP,
    aggregation_method=None, colocate_gradients_with_ops=False, name=None,
    grad_loss=None
)

Добавить операции для минимизации loss путем обновления var_list.

Этот метод просто объединяет вызовы compute_gradients() и apply_gradients(). Если вы хотите обработать градиент перед его применением, вызовите compute_gradients() и apply_gradients() явно вместо использования этой функции.

Совместимость с Eager

При включенном режиме немедленного выполнения loss должна быть функцией Python, которая не принимает аргументов и вычисляет значение, которое требуется минимизировать. Минимизация (и вычисление градиента) выполняется относительно элементов var_list если оно не равно None, иначе относительно любых обучаемых переменных, созданных во время выполнения функции loss. gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss игнорируются при включенном режиме немедленного выполнения.

variables

Просмотреть исходный код

variables()

Список переменных, которые кодируют текущее состояние Optimizer.

Включает переменные слотов и дополнительные глобальные переменные, созданные оптимизатором в текущей стандартной графе.

Переменные класса

• GATE_GRAPH = 2
• GATE_NONE = 0
• GATE_OP = 1