tf.train.experimental.FixedLossScale

Масштаб потерь с фиксированным значением.

Наследуется от: LossScale

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения более подробной информации.

tf.compat.v1.train.experimental.FixedLossScale, `tf.compat.v2.train.experimental.FixedLossScale`

tf.train.experimental.FixedLossScale(
    loss_scale_value
)

Масштаб потерь не обновляется на протяжении всего срока существования экземпляров этого класса. Данный экземпляр этого класса всегда возвращает одно и то же число при вызове.

Аргументы

loss_scale_value Вещественное число Python. Его оптимальное значение зависит от моделей, которые нужно запустить. Выбор слишком маленького масштаба потерь может повлиять на качество модели; слишком большой масштаб потерь может привести к inf или nan. Нет единого правильного масштаба потерь, который нужно применить. Нет вреда в выборе относительно большого числа, пока во время обучения не встретятся nan или inf.

Аргументы
`loss_scale_value`	Вещественное число Python. Его оптимальное значение зависит от моделей, которые нужно запустить. Выбор слишком маленького масштаба потерь может повлиять на качество модели; слишком большой масштаб потерь может привести к inf или nan. Нет единого правильного масштаба потерь, который нужно применить. Нет вреда в выборе относительно большого числа, пока во время обучения не встретятся nan или inf.

Исключения
`ValueError`	Если значение loss_scale_value меньше 1.

Методы

`from_config`

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создает LossScale из его конфигурации.

`get_config`

Просмотреть исходный код

get_config()

Возвращает конфигурацию этого масштаба потерь.

`update`

Просмотреть исходный код

update(
    grads
)

Обновляет значение масштаба потерь.

Масштаб потерь может быть обновлен в зависимости от значения grads. Возвращаемый тензор при вызове этого класса обновляется только при вычислении этой функции.

В режиме eager он непосредственно обновляет масштаб потерь, так что вызов __call__ вернёт обновлённый масштаб потерь. В режиме графа он возвращает операцию, которая при вычислении обновляет масштаб потерь.

Эта функция также возвращает should_apply_gradients булево значение. Если False, градиенты не должны применяться к переменным на данном шаге, поскольку были обнаружены бесконечные градиенты, и масштаб потерь обновлён для уменьшения вероятности нахождения бесконечных градиентов на следующем шаге. Некоторые классы масштаба потерь всегда возвращают True, поскольку они не могут настраиваться в ответ на бесконечные градиенты.

При использовании DistributionStrategy эта функция может вызываться только в контексте кросс-репликации.

Аргументы

grads Вложенная структура не масштабированных градиентов, каждый из которых является градиентом потерь относительно веса. Градиенты должны быть уже разделены на масштаб потерь перед передачей в эту функцию. Принимаются градиенты 'None', и они игнорируются.

Аргументы
`grads`	Вложенная структура не масштабированных градиентов, каждый из которых является градиентом потерь относительно веса. Градиенты должны быть уже разделены на масштаб потерь перед передачей в эту функцию. Принимаются градиенты 'None', и они игнорируются.

Возвращает
`update_op`	В режиме eager, None. В режиме графа, операция для обновления масштаба потерь.
`should_apply_gradients`	Булево значение или скалярный булев тензор. Если False, вызывающий должен пропустить применение `grads` к переменным на данном шаге.

`call`

Просмотреть исходный код

__call__()

Возвращает текущий масштаб потерь как скалярный float32 тензор.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/train/experimental/FixedLossScale