tf.compat.v1.mixed_precision.FixedLossScale

Масштаб потерь с фиксированным значением.

Наследуется от: LossScale

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения дополнительных сведений.

tf.compat.v1.mixed_precision.experimental.FixedLossScale, tf.compat.v1.train.experimental.FixedLossScale

tf.compat.v1.mixed_precision.FixedLossScale(
    loss_scale_value
)

Масштаб потерь не обновляется в течение всего времени существования экземпляров этого класса. Данный экземпляр этого класса всегда возвращает одно и то же число при вызове.

Аргументы

loss_scale_value Вещественное число Python. Его идеальное значение зависит от моделей, которые будут выполняться. Выбор слишком маленького loss_scale может повлиять на качество модели; слишком большой loss_scale может привести к появлению inf или nan. Нет единственного правильного loss_scale для применения. Нет вреда в выборе относительно большого числа, если во время обучения не встречаются nan или inf.

Аргументы
`loss_scale_value`	Вещественное число Python. Его идеальное значение зависит от моделей, которые будут выполняться. Выбор слишком маленького loss_scale может повлиять на качество модели; слишком большой loss_scale может привести к появлению inf или nan. Нет единственного правильного loss_scale для применения. Нет вреда в выборе относительно большого числа, если во время обучения не встречаются nan или inf.

Исключения
`ValueError`	Если loss_scale_value меньше 1.

Методы

`from_config`

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создаёт LossScale из его конфигурации.

`get_config`

Просмотреть исходный код

get_config()

Возвращает конфигурацию этого масштаба потерь.

`update`

Просмотреть исходный код

update(
    grads
)

Обновляет значение масштаба потерь.

Масштаб потерь будет потенциально обновлён, на основе значения grads. Тензор, возвращаемый вызовом этого класса, обновляется только при вычислении этой функции.

В режиме eager это напрямую обновляет масштаб потерь, так что вызов __call__ вернёт обновлённый масштаб потерь. В режиме графа это возвращает операцию, которая при вычислении обновляет масштаб потерь.

Эта функция также возвращает should_apply_gradients булево значение. Если False, градиенты не должны применяться к переменным этого шага, так как были найдены бесконечные или недействительные градиенты, и масштаб потерь был обновлён, чтобы уменьшить вероятность обнаружения бесконечных или недействительных градиентов на следующем шаге. Некоторые классы масштаба потерь всегда возвращают True, так как они не могут корректировать себя в ответ на бесконечные или недействительные градиенты.

Когда используется DistributionStrategy, эта функция может вызываться только в контексте кросс-репликации.

Аргументы

grads Вложенная структура неотмасштабированных градиентов, каждый из которых является градиентом потерь относительно веса. Градиенты должны быть предварительно разделены на масштаб потерь перед передачей в эту функцию. Принимаются градиенты 'None', которые игнорируются.

Аргументы
`grads`	Вложенная структура неотмасштабированных градиентов, каждый из которых является градиентом потерь относительно веса. Градиенты должны быть предварительно разделены на масштаб потерь перед передачей в эту функцию. Принимаются градиенты 'None', которые игнорируются.

Возвращаемые значения
`update_op`	В режиме eager, None. В режиме графа, операция для обновления масштаба потерь.
`should_apply_gradients`	Либо булево значение, либо скалярный булевый тензор. Если False, вызывающий должен пропустить применение `grads` к переменным на этом шаге.

`call`

Просмотреть исходный код

__call__()

Возвращает текущий масштаб потерь в виде скалярного float32 тензора.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/compat/v1/mixed_precision/FixedLossScale