tf.compat.v1.mixed_precision.MixedPrecisionLossScaleOptimizer

Оптимизатор, применяющий масштабирование потерь.

Наследуется от: Optimizer

tf.compat.v1.mixed_precision.MixedPrecisionLossScaleOptimizer(
    opt, loss_scale
)

Масштабирование потерь — это процесс, в котором потери умножаются на множитель, называемый масштабом потерь, а каждый градиент делится на тот же множитель. Псевдокод для этого процесса:

loss = ...
loss *= loss_scale
grads = gradients(loss, vars)
grads /= loss_scale

Математически масштабирование потерь не оказывает влияния, но может помочь избежать численных потерь точности в промежуточных градиентах при использовании тензоров float16 для обучения с использованием смешанной точности. Умножив потери, каждый промежуточный градиент будет иметь тот же множитель.

Масштаб потерь может быть либо фиксированной константой, выбранной пользователем, либо динамически определённой величиной. Динамическое определение масштаба потерь удобно, так как масштаб потерь не нужно явно выбирать. Однако это снижает производительность.

Этот оптимизатор оборачивает другой оптимизатор и применяет масштабирование потерь к нему с помощью LossScale. Масштабирование потерь применяется всякий раз, когда вычисляются градиенты, например, через minimize().

Методы

apply_gradients

Просмотр исходного кода

apply_gradients(
    grads_and_vars, global_step=None, name=None
)

Применить градиенты к переменным.

Это вторая часть minimize(). Она возвращает Operation, который условно применяет градиенты, если все значения градиента конечны. В противном случае обновление не выполняется (и global_step не увеличивается).

compute_gradients

Просмотр исходного кода

compute_gradients(
    loss,
    var_list=None,
    gate_gradients=optimizer.Optimizer.GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    grad_loss=None
)

Вычислить градиенты loss для переменных в var_list.

Это корректирует динамический диапазон вычисления градиента, увеличивая значение loss. Значения градиентов затем уменьшаются обратно, деля их на обратную величину масштаба потерь. Это полезно при обучении с использованием уменьшенной точности, когда маленькие значения градиентов в противном случае могут стать меньше представимого диапазона.

get_name

Просмотр исходного кода

get_name()

get_slot

Просмотр исходного кода

get_slot(
    var, name
)

Возвращает слот с именем name, созданный для var оптимизатором.

Некоторые подклассы Optimizer используют дополнительные переменные. Например, Momentum и Adagrad используют переменные для накопления обновлений. Этот метод предоставляет доступ к этим Variable объектам, если вам по какой-то причине они нужны.

Используйте get_slot_names() для получения списка имён слотов, созданных Optimizer.

get_slot_names

Просмотр исходного кода

get_slot_names()

Возвращает список имён слотов, созданных Optimizer.

См. get_slot().

minimize

Просмотр исходного кода

minimize(
    loss,
    global_step=None,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    name=None,
    grad_loss=None
)

Добавить операции для минимизации loss, обновляя var_list.

Этот метод просто объединяет вызовы compute_gradients() и apply_gradients(). Если вы хотите обработать градиент перед его применением, вызовите compute_gradients() и apply_gradients() явно вместо использования этой функции.

Когда включён eager режим выполнения, loss должен быть Python-функцией без аргументов, вычисляющей значение для минимизации. Минимизация (и вычисление градиента) выполняется относительно элементов var_list, если оно не None, иначе относительно всех обучаемых переменных, созданных во время выполнения функции loss. gate_gradients, aggregation_method, colocate_gradients_with_ops и grad_loss игнорируются при включённом eager режиме.

variables

Посмотреть исходный код

variables()

Возвращает переменные оптимизатора.