tf.keras.mixed_precision.LossScaleOptimizer

Оптимизатор, применяющий масштабирование потерь для предотвращения численных потери точности.

Наследуется от: Optimizer

tf.keras.mixed_precision.LossScaleOptimizer(
    inner_optimizer, dynamic=True, initial_scale=None, dynamic_growth_steps=None
)

Масштабирование потерь — это техника, предотвращающая потерю точности в промежуточных градиентах при использовании float16. Для предотвращения потери точности потеря умножается (или «масштабируется») на определённый множитель, называемый «масштабом потерь», что приводит к масштабированию промежуточных градиентов также на масштаб потерь. Окончательные градиенты делятся (или «размасштабиваются») на масштаб потерь, чтобы вернуть их к исходному значению.

LossScaleOptimizer обёртку другого оптимизатора и применяет к нему масштабирование потерь. По умолчанию масштаб потерь динамически обновляется со временем, поэтому вам не нужно выбирать масштаб потерь. Метод minimize автоматически масштабирует потерю, размасштабирует градиенты и обновит масштаб потерь, поэтому всё, что вам нужно сделать, это обернуть свой оптимизатор с помощью LossScaleOptimizer, если вы используете minimize. Например:

opt = tf.keras.optimizers.SGD(0.25)
opt = tf.keras.mixed_precision.LossScaleOptimizer(opt)
var = tf.Variable(1.)
loss_fn = lambda: var ** 2
# 'minimize' applies loss scaling and updates the loss sale.
opt.minimize(loss_fn, var_list=var)
var.numpy()
0.5

Если для вычисления градиентов используется tf.GradientTape, а не minimize, вы должны вручную масштабировать потерю и градиенты. Это можно сделать с помощью методов LossScaleOptimizer.get_scaled_loss и LossScaleOptimizer.get_unscaled_gradients. Например:

with tf.GradientTape() as tape:
  loss = loss_fn()
  scaled_loss = opt.get_scaled_loss(loss)
scaled_grad = tape.gradient(scaled_loss, var)
(grad,) = opt.get_unscaled_gradients([scaled_grad])
opt.apply_gradients([(grad, var)])  # Loss scale is updated here
var.numpy()
0.25

При использовании смешанной точности с float16, как правило, нет риска потери точности, влияющей на качество модели, если масштабирование потерь используется должным образом. См. руководство по смешанной точности для получения более подробной информации о том, как использовать смешанную точность.

LossScaleOptimizer иногда будет пропускать применение градиентов к переменным, в этом случае изменяемые переменные не изменятся на этом шаге. Это делается потому, что динамический масштаб потерь иногда будет слишком высоким, вызывая переполнение в градиентах. Обычно первые 2-15 шагов модели пропускаются, так как начальный масштаб потерь очень велик, но после этого шаги будут пропускаться в среднем 0,05% времени (доля пропущенных шагов равна 1 / dynamic_growth_steps).

LossScaleOptimizer делегирует все публичные Optimizer методы внутреннему оптимизатору. Кроме того, в методах minimize и get_gradients, it scales the loss and unscales the gradients. In methodsminimizeandapply_gradients`, он дополнительно обновляет масштаб потерь и пропускает применение градиентов, если любой градиент имеет бесконечное значение.

Гиперпараметры

К гиперпараметрам можно получить доступ и настроить их в LossScaleOptimizer, что будет делегировано обернутому оптимизатору.

opt = tf.keras.optimizers.Adam(beta_1=0.8, epsilon=1e-5)
opt = tf.keras.mixed_precision.LossScaleOptimizer(opt)
opt.beta_1  # Equivalent to `opt.inner_optimizer.beta_1`
0.8
opt.beta_1 = 0.7  # Equivalent to `opt.inner_optimizer.beta_1 = 0.7`
opt.beta_1
0.7
opt.inner_optimizer.beta_1
0.7

Однако доступ или изменение не гиперпараметров не делегируется LossScaleOptimizer. В оптимизаторе Adam, beta_1 является гиперпараметром, но epsilon не является, так как оптимизатор Adam вызывает только Optimizer._set_hyper на beta_1.

opt.inner_optimizer.epsilon
1e-5
opt.epsilon
Traceback (most recent call last):

AttributeError: 'LossScaleOptimizer' object has no attribute 'epsilon'
opt.epsilon = 1e-4  # This does NOT set epsilon on `opt.inner_optimizer`
opt.inner_optimizer.epsilon
1e-5

В примере выше, несмотря на установку epsilon в LossScaleOptimizer, старое значение epsilon по-прежнему будет использоваться при обучении, поскольку epsilon не был установлен в внутреннем оптимизаторе.

Методы

get_scaled_loss

Просмотреть исходный код

get_scaled_loss(
    loss
)

Масштабирует потерю на масштаб потерь.

Этот метод необходим только если вы вычисляете градиенты вручную, например, с помощью tf.GradientTape. В этом случае вызовите этот метод, чтобы масштабировать потерю перед передачей потери в tf.GradientTape. Если вы используете LossScaleOptimizer.minimize или LossScaleOptimizer.get_gradients, масштабирование потерь применяется автоматически, и этот метод не нужен.

Если этот метод вызывается, то должен быть вызван и get_unscaled_gradients. См. документацию tf.keras.mixed_precision.LossScaleOptimizer для примера.

get_unscaled_gradients

Просмотреть исходный код

get_unscaled_gradients(
    grads
)

Размасштабирует градиенты на масштаб потерь.

Этот метод необходим только если вы вычисляете градиенты вручную, например, с помощью tf.GradientTape. В этом случае вызовите этот метод, чтобы размасштабировать градиенты после их вычисления с помощью tf.GradientTape. Если вы используете LossScaleOptimizer.minimize или LossScaleOptimizer.get_gradients, масштабирование потерь применяется автоматически, и этот метод не нужен.

Если этот метод вызывается, то должен быть вызван и get_scaled_loss. См. документацию tf.keras.mixed_precision.LossScaleOptimizer для примера.