tf.train.experimental.DynamicLossScale

Масштаб потерь, который динамически регулируется.

Наследуется от: LossScale

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения более подробной информации.

tf.compat.v1.train.experimental.DynamicLossScale, `tf.compat.v2.train.experimental.DynamicLossScale`

tf.train.experimental.DynamicLossScale(
    initial_loss_scale=(2 ** 15), increment_period=2000, multiplier=2.0
)

Динамический масштаб потерь работает, регулируя масштаб потерь по мере обучения. Цель состоит в том, чтобы сохранить масштаб потерь максимально возможным без переполнения градиентов. Пока градиенты не переполняются, повышение масштаба потерь никогда не навредит.

Алгоритм начинается с задания начального значения масштаба потерь. Каждые N шагов, когда градиенты конечны, масштаб потерь увеличивается на некоторый коэффициент. Однако, если обнаруживается градиент NaN или Inf, градиенты для этого шага не применяются, и масштаб потерь уменьшается на коэффициент. Этот процесс стремится сохранить масштаб потерь максимально возможным без переполнения градиентов.

Аргументы
`initial_loss_scale`	Вещественное число Python. Масштаб потерь, который следует использовать в начале. Лучше начинать с очень большого числа, потому что масштаб потерь, который слишком велик, уменьшается намного быстрее, чем масштаб потерь, который слишком мал, увеличивается. По умолчанию значение равно 2 ** 15, что примерно равно половине максимального значения float16.
`increment_period`	Увеличивает масштаб потерь каждые `increment_period` последовательных шагов, на которых встречаются конечные градиенты. Если встречается бесконечный градиент, счетчик сбрасывается до нуля.
`multiplier`	Множитель, используемый при увеличении или уменьшении масштаба потерь.

Атрибуты
`increment_period`
`initial_loss_scale`
`multiplier`

Методы

`from_config`

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создаёт LossScale из его конфигурации.

`get_config`

Просмотреть исходный код

get_config()

Возвращает конфигурацию этого масштаба потерь.

`update`

Просмотреть исходный код

update(
    grads
)

Обновляет масштаб потерь на основе того, являются ли градиенты конечными в текущем шаге.

`call`

Просмотреть исходный код

__call__()

Возвращает текущий масштаб потерь как скалярный float32 тензор.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/train/experimental/DynamicLossScale