tf.compat.v1.mixed_precision.DynamicLossScale

Масштаб потерь, который динамически изменяется.

Наследуется от: LossScale

Псевдонимы

Псевдонимы для миграции

См. Руководство по миграции для получения более подробной информации.

tf.compat.v1.mixed_precision.experimental.DynamicLossScale, tf.compat.v1.train.experimental.DynamicLossScale

tf.compat.v1.mixed_precision.DynamicLossScale(
    initial_loss_scale=(2 ** 15), increment_period=2000, multiplier=2.0
)

Динамический масштаб потерь работает путем корректировки масштаба потерь по мере обучения. Цель состоит в том, чтобы сохранить масштаб потерь максимально высоким без переполнения градиентов. Пока градиенты не переполняются, увеличение масштаба потерь не приносит вреда.

Алгоритм начинается с установки начального значения масштаба потерь. Каждые N шагов, когда градиенты конечны, масштаб потерь увеличивается на определенный множитель. Однако, если обнаружен градиент NaN или Inf, градиенты для этого шага не применяются, а масштаб потерь уменьшается на множитель. Этот процесс стремится поддерживать масштаб потерь максимально высоким без переполнения градиентов.

Аргументы
`initial_loss_scale`	Вещественное число Python. Масштаб потерь, используемый в начале. Лучше начинать с очень большого числа, поскольку масштаб потерь, который слишком велик, уменьшается гораздо быстрее, чем масштаб потерь, который слишком мал, увеличивается. По умолчанию это 2 ** 15, что примерно равно половине максимального значения float16.
`increment_period`	Увеличивает масштаб потерь каждые `increment_period` последовательных шагов, на которых встречаются конечные градиенты. Если встречается бесконечный градиент, счетчик сбрасывается до нуля.
`multiplier`	Множитель, используемый при увеличении или уменьшении масштаба потерь.

Атрибуты
`increment_period`
`initial_loss_scale`
`multiplier`

Методы

`from_config`

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создает LossScale из его конфигурации.

`get_config`

Просмотреть исходный код

get_config()

Возвращает конфигурацию этого масштаба потерь.

`update`

Просмотреть исходный код

update(
    grads
)

Обновляет масштаб потерь на основе того, являются ли градиенты конечными на текущем шаге.

`call`

Просмотреть исходный код

__call__()

Возвращает текущий масштаб потерь как скалярный float32 тензор.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/compat/v1/mixed_precision/DynamicLossScale