tf.compat.v1.mixed_precision.LossScale

Базовый класс для всех масштабов потерь TF1.

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения дополнительной информации.

tf.compat.v1.mixed_precision.experimental.LossScale, tf.compat.v1.train.experimental.LossScale

tf.compat.v1.mixed_precision.LossScale()

Это абстрактный базовый класс, поэтому его нельзя создать напрямую. Вместо этого используйте один из его конкретных подклассов:

Масштабирование потерь — это процесс, при котором потери умножаются на множитель, называемый масштабом потерь, а каждый градиент делится на тот же множитель. Псевдокод для этого процесса:

loss = ...
loss *= loss_scale
grads = gradients(loss, vars)
grads /= loss_scale

Математически масштабирование потерь не оказывает влияния, но может помочь избежать численных переполнений в промежуточных градиентах при использовании тензоров float16 для обучения с смешанной точностью. Умножая потери, каждый промежуточный градиент будет иметь применённый тот же множитель.

Экземпляры этого класса представляют масштаб потерь. Вызов экземпляров этого класса возвращает масштаб потерь в виде скалярного тензора float32, а метод update() обновляет масштаб потерь в зависимости от значений градиентов. Оптимизаторы используют экземпляры этого класса для масштабирования потерь и градиентов.

В большинстве функций, принимающих LossScale, вы также можете передать целое число (например,

8) для создания FixedLossScale или строку "dynamic" для создания динамического масштаба потерь.

Методы

`from_config`

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создает LossScale из его конфигурации.

`get_config`

Просмотреть исходный код

@abc.abstractmethod
get_config()

Возвращает конфигурацию этого масштаба потерь.

`update`

Просмотреть исходный код

@abc.abstractmethod
update(
    grads
)

Обновляет значение масштаба потерь.

Масштаб потерь будет потенциально обновлен на основе значения grads. Тензор, возвращаемый при вызове этого класса, обновляется только при оценке этой функции.

В режиме eager это напрямую обновляет масштаб потерь, поэтому вызов __call__ вернёт обновлённый масштаб потерь. В режиме графа это возвращает операцию, которая при оценке обновляет масштаб потерь.

Функция также возвращает should_apply_gradients boolean. Если False, градиенты не должны применяться к переменным шага, так как были найдены бесконечные градиенты, и масштаб потерь был обновлён, чтобы уменьшить вероятность нахождения бесконечных градиентов на следующем шаге. Некоторые классы масштабов потерь всегда будут возвращать True, так как они не могут настраиваться в ответ на бесконечные градиенты.

При использовании DistributionStrategy эта функция может вызываться только в контексте кросс-репликации.

Аргументы

grads Вложенная структура неувеличенных градиентов, каждый из которых является градиентом потерь относительно веса. Градиенты должны быть уже разделены на масштаб потерь до передачи в эту функцию. Принимаются градиенты 'None', и они игнорируются.

Аргументы
`grads`	Вложенная структура неувеличенных градиентов, каждый из которых является градиентом потерь относительно веса. Градиенты должны быть уже разделены на масштаб потерь до передачи в эту функцию. Принимаются градиенты 'None', и они игнорируются.

Возвращаемое значение
`update_op`	В режиме eager, None. В режиме графа, операция для обновления масштаба потерь.
`should_apply_gradients`	Либо boolean, либо скалярный boolean-тензор. Если False, вызывающая сторона должна пропустить применение `grads` к переменным этого шага.

`call`

Просмотреть исходный код

@abc.abstractmethod
__call__()

Возвращает текущий масштаб потерь как скалярный float32 тензор.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/compat/v1/mixed_precision/LossScale