tf.compat.v1.mixed_precision.FixedLossScale

Масштаб потерь с фиксированным значением.

Наследуется от: LossScale

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения более подробной информации.

tf.compat.v1.mixed_precision.experimental.FixedLossScale, tf.compat.v1.train.experimental.FixedLossScale

tf.compat.v1.mixed_precision.FixedLossScale(
    loss_scale_value
)

Масштаб потерь не обновляется в течение всего срока службы экземпляров этого класса. Данный экземпляр этого класса всегда возвращает одно и то же число при вызове.

Аргументы

loss_scale_value Вещественное число Python. Его идеальное значение варьируется в зависимости от моделей, которые необходимо запустить. Выбор слишком малого loss_scale может повлиять на качество модели; слишком большой loss_scale может привести к появлению inf или nan. Нет единственного правильного loss_scale для применения. Нет вреда в выборе относительно большого числа, пока в процессе обучения не возникают nan или inf.

Аргументы
`loss_scale_value`	Вещественное число Python. Его идеальное значение варьируется в зависимости от моделей, которые необходимо запустить. Выбор слишком малого loss_scale может повлиять на качество модели; слишком большой loss_scale может привести к появлению inf или nan. Нет единственного правильного loss_scale для применения. Нет вреда в выборе относительно большого числа, пока в процессе обучения не возникают nan или inf.

Исключения
`ValueError`	Если loss_scale_value меньше 1.

Методы

`from_config`

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создаёт LossScale из его конфигурации.

`get_config`

Просмотреть исходный код

get_config()

Возвращает конфигурацию данного масштаба потерь.

`update`

Просмотреть исходный код

update(
    grads
)

Обновляет значение масштаба потерь.

Масштаб потерь будет потенциально обновлён, в зависимости от значения grads. Тензор, возвращаемый при вызове этого класса, обновляется только при выполнении этой функции.

В режиме eager эта функция непосредственно обновляет масштаб потерь, поэтому вызов __call__ вернёт обновлённый масштаб потерь. В режиме графа эта функция возвращает операцию, которая при выполнении обновляет масштаб потерь.

Функция также возвращает значение should_apply_gradients boolean. Если False, градиенты не должны применяться к переменным на этом шаге, поскольку были обнаружены бесконечные градиенты, и масштаб потерь был обновлён, чтобы уменьшить вероятность обнаружения бесконечных градиентов на следующем шаге. Некоторые классы масштаба потерь всегда возвращают True, так как они не могут адаптироваться в ответ на бесконечные градиенты.

При использовании DistributionStrategy эта функция может вызываться только в контексте крос-репликации.

Аргументы

grads Вложенная структура не масштабированных градиентов, каждый из которых является градиентом потерь относительно веса. Градиенты должны быть уже разделены на масштаб потерь перед передачей в эту функцию. Градиенты 'None' принимаются и игнорируются.

Аргументы
`grads`	Вложенная структура не масштабированных градиентов, каждый из которых является градиентом потерь относительно веса. Градиенты должны быть уже разделены на масштаб потерь перед передачей в эту функцию. Градиенты 'None' принимаются и игнорируются.

Возвращаемое значение
`update_op`	В режиме eager, None. В режиме графа, операция для обновления масштаба потерь.
`should_apply_gradients`	Булево значение или скалярный булевый тензор. Если False, вызывающий должен пропустить применение `grads` к переменным на данном шаге.

`call`

Просмотреть исходный код

__call__()

Возвращает текущий масштаб потерь как скалярный float32 тензор.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/compat/v1/mixed_precision/FixedLossScale