tf.keras.mixed_precision.experimental.Policy

Политика типа данных для слоя Keras.

tf.keras.mixed_precision.experimental.Policy(
    name, loss_scale=USE_DEFAULT
)

Политика типа данных определяет аспекты, связанные с типом данных, слоя, такие как его вычисления и типы данных переменных. Каждый слой имеет политику. Политики могут быть переданы в аргумент 'dtype' конструкторов слоя, или глобальная политика может быть установлена с помощью 'tf.keras.mixed_precision.experimental.set_policy'. Слой по умолчанию будет использовать глобальную политику, если политика не передана в его конструктор.

Для большинства моделей каждый слой будет иметь одинаковый тип данных вычислений и переменных, который обычно будет float32. Однако, когда используется обучение с смешанной точностью, у большинства слоев вместо этого будет тип данных вычислений float16 и тип данных переменных float32. См. ссылку для получения дополнительной информации об обучении с смешанной точностью. Когда тип данных переменных не соответствует типу данных вычислений, переменные будут автоматически преобразованы в тип данных вычислений, чтобы избежать ошибок типа.

Политики также имеют экземпляр tf.train.experimental.LossScale, который используется моделями для масштабирования потерь. Слои, которые не являются моделями, игнорируют масштаб потерь.

Политики создаются путем передачи строки в конструктор, например tf.keras.mixed_precision.experimental.Policy('float32'). Строка определяет типы данных вычислений и переменных. В настоящее время она может быть одной из следующих форм:

• Любое имя типа данных, например, 'float32' или 'float64'. И тип данных переменных, и тип данных вычислений будут таким типом данных.
• '_with_float32_vars', где — любой тип данных. Тип данных вычислений будет , а тип данных переменных — float32. Это можно использовать для обучения со смешанной точностью, которое использует float16 или bfloat16 для большинства вычислений и float32 для переменных, но вместо этого рекомендуется использовать политики 'mixed_float16' или 'mixed_bfloat16'.
• 'mixed_float16' или 'mixed_bfloat16': Аналогично 'float16_with_float32_vars' или 'bfloat16_with_float32_vars' соответственно. 'mixed_float16' идентичен 'float16_with_float32_vars', за исключением того, что масштаб потерь по умолчанию динамический. 'mixed_bfloat16' в настоящее время идентичен 'bfloat16_with_float32_vars'. В будущем в эти смешанные политики могут быть добавлены дополнительные изменения, чтобы еще больше отличить их от [b]float16_with_float32_vars.

Использование смешанной точности в слоях с политиками

Для использования смешанной точности в модели можно использовать политику 'mixed_float16'. tf.keras.mixed_precision.experimental.set_policy может использоваться для установки политики по умолчанию для слоев, если им не передается политика. Например:

tf.keras.mixed_precision.experimental.set_policy('mixed_float16')
model = tf.keras.models.Sequential(
    tf.keras.layers.Input((100,)),
    # Dense layers use global policy of 'mixed_float16', which does
    # computations in float16 while keeping variables in float32.
    tf.keras.layers.Dense(10),
    tf.keras.layers.Dense(10),
    # Softmax should be done in float32 for numeric stability. We pass
    # dtype='float32' to use float32 instead of the global policy.
    tf.keras.layers.Activation('Softmax', dtype='float32')
)
model.fit(...)  # Train `model`

В качестве альтернативы политика может быть передана отдельным слоям вместо установки глобальной политики с помощью set_policy:

policy = tf.keras.mixed_precision.experimental.Policy('mixed_float16')
model = tf.keras.models.Sequential(
    tf.keras.layers.Input((100,)),
    tf.keras.layers.Dense(10, dtype=policy),
    tf.keras.layers.Dense(10, dtype=policy),
    # Softmax should be done in float32 for numeric stability.
    tf.keras.layers.Activation('Softmax', dtype='float32')
)
model.fit(...)  # Train `model`

Как показано в примере выше, строки могут быть напрямую переданы в конструкторы слоев в аргументе dtype вместо политики, но только если строка может быть преобразована в тип данных.

Устаревшая политика "infer"

Помимо типа данных или "_with_float32_vars", политика также может быть "infer". Эта политика устарела, и ее не рекомендуется использовать. Когда слой имеет политику infer, он будет определять тип данных вычислений и переменных из первого входного значения в первый раз, когда слой вызывается.

После первого вызова слоя политика слоя изменится на тип данных первого входного значения.

Аналогично политике "infer", существует устаревшая политика "infer_with_float32_vars", которая определяет тип данных вычислений, но не тип данных переменных.

В TensorFlow 1 доступны только политики "infer" и "infer_with_float32_vars".