tf.mixed_precision.experimental.DynamicLossScale
Масштаб потерь, который динамически изменяется.
Наследуется от: LossScale
tf.mixed_precision.experimental.DynamicLossScale(
initial_loss_scale=(2 ** 15), increment_period=2000, multiplier=2.0
)
Динамическое масштабирование потерь работает путем изменения масштаба потерь по мере обучения. Цель состоит в том, чтобы поддерживать как можно более высокий масштаб потерь без переполнения градиентов. Пока градиенты не переполняются, повышение масштаба потерь никогда не повредит.
Алгоритм начинается с установки начального значения масштаба потерь. Каждые N шагов, когда градиенты конечны, масштаб потерь увеличивается на определенный множитель. Однако, если обнаруживается NaN или Inf градиент, градиенты для этого шага не применяются, а масштаб потерь уменьшается на множитель. Этот процесс стремится поддерживать как можно более высокий масштаб потерь без переполнения градиентов.
| Аргументы | |
|---|---|
initial_loss_scale | Вещественное число Python. Масштаб потерь, используемый в начале. Лучше начинать с очень большого числа, потому что масштаб потерь, который слишком велик, уменьшается гораздо быстрее, чем масштаб потерь, который слишком мал, увеличивается. По умолчанию 2 ** 15, что примерно равно половине максимального значения float16. |
increment_period | Увеличивает масштаб потерь каждые increment_period последовательных шагов, на которых встречаются конечные градиенты. Если встречается бесконечный градиент, счетчик сбрасывается до нуля. |
multiplier | Множитель, используемый при увеличении или уменьшении масштаба потерь. |
| Атрибуты | |
|---|---|
increment_period | |
initial_loss_scale | |
multiplier | |
Методы
from_config
@classmethod
from_config(
config
)
Создает LossScale из его конфигурации.
get_config
get_config()
Возвращает конфигурацию этого масштаба потерь.
update
update(
grads
)
Обновляет масштаб потерь на основе того, являются ли градиенты конечными на текущем шаге.
__call__
__call__()
Возвращает текущий масштаб потерь как скалярный float32 тензор.
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.4/api_docs/python/tf/mixed_precision/experimental/DynamicLossScale
