tf.compat.v1.mixed_precision.LossScale

Базовый класс для всех масштабов потерь TF1.

Просмотр псевдонимов

Псевдонимы для миграции

Подробнее см. в Руководстве по миграции.

tf.compat.v1.mixed_precision.experimental.LossScale, tf.compat.v1.train.experimental.LossScale

tf.compat.v1.mixed_precision.LossScale()

Это абстрактный базовый класс, поэтому его нельзя создать напрямую. Вместо этого используйте один из его конкретных подклассов:

Масштабирование потерь — это процесс умножения потерь на множитель, называемый масштабом потерь, и деления каждого градиента на тот же множитель. Псевдокод для этого процесса:

loss = ...
loss *= loss_scale
grads = gradients(loss, vars)
grads /= loss_scale

Математически масштабирование потерь не оказывает влияния, но может помочь избежать численного переполнения в промежуточных градиентах при использовании тензоров float16 для обучения с смешанной точностью. Умножая потери, каждый промежуточный градиент будет иметь применённый тот же множитель.

Экземпляры этого класса представляют масштаб потерь. Вызов экземпляров этого класса возвращает масштаб потерь как скалярный тензор float32, а метод update() обновляет масштаб потерь в зависимости от значений градиентов. Оптимизаторы используют экземпляры этого класса для масштабирования потерь и градиентов.

В большинстве функций, принимающих LossScale, вы также можете передать целое число (например,

8) для создания FixedLossScale или строку "dynamic" для создания динамического масштаба потерь.

Методы

`from_config`

Посмотреть исходный код

@classmethod
from_config(
    config
)

Создаёт LossScale из его конфигурации.

`get_config`

Посмотреть исходный код

@abc.abstractmethod
get_config()

Возвращает конфигурацию этого масштаба потерь.

`update`

Посмотреть исходный код

@abc.abstractmethod
update(
    grads
)

Обновляет значение масштаба потерь.

Масштаб потерь будет потенциально обновлен на основе значения grads. Тензор, возвращаемый при вызове этого класса, обновляется только при вычислении этой функции.

В режиме eager это напрямую обновляет масштаб потерь, так что вызов __call__ вернёт обновлённый масштаб потерь. В режиме графа это возвращает операцию, которая, при вычислении, обновляет масштаб потерь.

Эта функция также возвращает should_apply_gradients булево значение. Если False, градиенты не должны применяться к переменным, так как были найдены бесконечные градиенты, и масштаб потерь был обновлён, чтобы уменьшить вероятность нахождения бесконечных градиентов на следующем шаге. Некоторые классы масштабов потерь всегда будут возвращать True, поскольку они не могут адаптироваться в ответ на бесконечные градиенты.

При использовании DistributionStrategy эта функция может вызываться только в кросс-репликационном контексте.

Аргументы

grads Вложенная структура не масштабированных градиентов, каждый из которых является градиентом потерь относительно веса. Градиенты должны быть предварительно разделены на масштаб потерь, прежде чем передаваться в эту функцию. Градиенты 'None' принимаются и игнорируются.

Аргументы
`grads`	Вложенная структура не масштабированных градиентов, каждый из которых является градиентом потерь относительно веса. Градиенты должны быть предварительно разделены на масштаб потерь, прежде чем передаваться в эту функцию. Градиенты 'None' принимаются и игнорируются.

Возвращаемые значения
`update_op`	В режиме eager — None. В режиме графа — операция для обновления масштаба потерь.
`should_apply_gradients`	Либо булево значение, либо скалярный булевый тензор. Если False, вызывающий должен пропустить применение `grads` к переменным на этом шаге.

`call`

Посмотреть исходный код

@abc.abstractmethod
__call__()

Возвращает текущий масштаб потерь как скалярный float32 тензор.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/compat/v1/mixed_precision/LossScale