tf.contrib.mixed_precision.LossScaleManager

Абстрактный класс менеджера масштабирования потерь.

Менеджеры масштабирования потерь с различной стратегией должны быть подклассами этого класса. Масштабирование потерь — это процесс, который:

1) Применяет множитель к потерям перед вычислением градиентов и 2) Применяет обратную величину множителя к градиентам перед их применением к переменным.

Этот класс используется совместно с tf.contrib.mixed_precision.LossScaleOptimizer для обучения с использованием смешанной точности (переменные float32 и операции float16) на графических процессорах Nvidia для достижения того же качества модели, что и при обучении с использованием одинарной точности, с преимуществами потенциально более высокой пропускной способности.

См. tf.contrib.mixed_precision.LossScaleOptimizer для получения более подробной информации.

Методы

get_loss_scale

Просмотреть исходный код

@abc.abstractmethod
get_loss_scale()

Возвращает масштаб потерь в виде скалярного float32 тензора.

update_loss_scale

Просмотреть исходный код

@abc.abstractmethod
update_loss_scale(
    finite_grads
)

Обновляет масштаб потерь на основе того, являются ли градиенты конечными в текущем шаге.