tf.compat.v1.mixed_precision.MixedPrecisionLossScaleOptimizer

Оптимизатор, применяющий масштабирование потерь.

Наследуется от: Optimizer

tf.compat.v1.mixed_precision.MixedPrecisionLossScaleOptimizer(
    opt, loss_scale
)

Масштабирование потерь — это процесс, который умножает потери на множитель, называемый масштабом потерь, и делит каждый градиент на тот же множитель. Псевдокод для этого процесса:

loss = ...
loss *= loss_scale
grads = gradients(loss, vars)
grads /= loss_scale

Математически масштабирование потерь не оказывает влияния, но может помочь избежать численного подтечения в промежуточных градиентах при использовании тензоров float16 для обучения с смешанной точностью. Умножая потери, каждый промежуточный градиент будет иметь применённый тот же множитель.

Масштаб потерь может быть либо фиксированной константой, выбранной пользователем, либо динамически определяться. Динамическое определение масштаба потерь удобно, так как масштаб потерь не нужно выбирать явно. Однако это снижает производительность.

Этот оптимизатор оборачивает другой оптимизатор и применяет масштабирование потерь к нему через LossScale. Масштабирование потерь применяется всякий раз, когда вычисляются градиенты, например, через minimize().

Методы

apply_gradients

Просмотреть исходный код

apply_gradients(
    grads_and_vars, global_step=None, name=None
)

Применение градиентов к переменным.

Это вторая часть minimize(). Она возвращает Operation, который условно применяет градиенты, если все значения градиентов конечны. В противном случае обновление не выполняется (и global_step не увеличивается).

compute_gradients

Просмотреть исходный код

compute_gradients(
    loss,
    var_list=None,
    gate_gradients=optimizer.Optimizer.GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    grad_loss=None
)

Вычисление градиентов loss для переменных в var_list.

Это регулирует динамический диапазон вычисления градиента, увеличивая значение loss. Значения градиентов затем уменьшаются обратно до взаимного значения масштаба потерь. Это полезно при обучении с пониженной точностью, когда малые значения градиентов в противном случае уменьшались бы до непредставляемого диапазона.

get_name

Просмотреть исходный код

get_name()

get_slot

Просмотреть исходный код

get_slot(
    var, name
)

Возвращает слот с именем name созданный для var оптимизатором.

Некоторые подклассы Optimizer используют дополнительные переменные. Например, Momentum и Adagrad используют переменные для накопления обновлений. Этот метод предоставляет доступ к этим объектам Variable в случае необходимости.

Используйте get_slot_names() для получения списка имен слотов, созданных Optimizer.

get_slot_names

Просмотреть исходный код

get_slot_names()

Возвращает список имён слотов, созданных Optimizer.

См. get_slot().

minimize

Просмотреть исходный код

minimize(
    loss,
    global_step=None,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    name=None,
    grad_loss=None
)

Добавление операций для минимизации loss путём обновления var_list.

Этот метод просто объединяет вызовы compute_gradients() и apply_gradients(). Если необходимо обработать градиент перед его применением, вызовите compute_gradients() и apply_gradients() явно вместо использования этой функции.

При включенном режиме выполнения Eager, loss должен быть Python-функцией без аргументов, вычисляющей значение для минимизации. Минимизация (и вычисление градиентов) выполняется относительно элементов var_list если не None, иначе относительно всех обучаемых переменных, созданных во время выполнения функции loss. gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss игнорируются при включенном режиме выполнения Eager.

variables

Просмотреть исходный код

variables()

Возвращает переменные оптимизатора.