tf.contrib.mixed_precision.FixedLossScaleManager
Управляющий масштабом потерь с фиксированным масштабом.
Наследуется от: LossScaleManager
tf.contrib.mixed_precision.FixedLossScaleManager(
loss_scale
)
Масштаб потерь не обновляется за время существования класса.
| Аргументы | |
|---|---|
loss_scale | Вещественное число Python. Его идеальное значение зависит от моделей для выполнения. Выбор слишком маленького loss_scale может повлиять на качество модели; слишком большой loss_scale может привести к появлению inf или nan. Нет единственно правильного loss_scale для применения. Нет вреда в выборе относительно большого числа, пока в обучении не встречаются nan или inf. |
| Исключения | |
|---|---|
ValueError | Если loss_scale меньше 1. |
Методы
get_loss_scale
get_loss_scale()
Возвращает масштаб потерь в виде скалярного float32 тензора.
update_loss_scale
update_loss_scale(
finite_grads
)
Обновляет масштаб потерь на основе того, являются ли градиенты конечными в текущем шаге.
| Аргументы | |
|---|---|
finite_grads | Булевый скалярный тензор, указывающий, являются ли все градиенты конечными (т.е., не inf или nan). |
| Возвращаемое значение | |
|---|---|
| Операция, при выполнении которой обновляется масштаб потерь. Если включено выполнение eager, ничего не возвращается. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/contrib/mixed_precision/FixedLossScaleManager