tf.keras.FloatDTypePolicy

Политика типа данных для слоя Keras.

Наследует: DTypePolicy

Просмотреть псевдонимы

Основные псевдонимы

tf.keras.dtype_policies.FloatDTypePolicy

Псевдонимы совместимости для миграции

Подробнее см. в руководстве по миграции.

tf.compat.v1.keras.FloatDTypePolicy

tf.keras.FloatDTypePolicy(
    name
)

Политика типа данных определяет вычисляемые типы данных и типы данных переменных слоя. У каждого слоя есть политика. Политики можно передавать в аргумент dtype конструктора слоя или задать глобальную политику с помощью keras.config.set_dtype_policy.

Аргументы

name Имя политики, определяющее вычисляемый тип данных и тип данных переменных. Это может быть любое имя типа данных, например "float32" или "float64"; в этом случае вычисляемый тип данных и тип данных переменных будут совпадать с указанным типом. Также можно указать строку "mixed_float16" или "mixed_bfloat16"; тогда вычисляемый тип данных будет float16 или bfloat16, а тип данных переменных — float32.

Аргументы
`name`	Имя политики, определяющее вычисляемый тип данных и тип данных переменных. Это может быть любое имя типа данных, например `"float32"` или `"float64"`; в этом случае вычисляемый тип данных и тип данных переменных будут совпадать с указанным типом. Также можно указать строку `"mixed_float16"` или `"mixed_bfloat16"`; тогда вычисляемый тип данных будет `float16` или `bfloat16`, а тип данных переменных — `float32`.

Обычно с политиками типа данных нужно работать только при использовании смешанной точности, то есть при использовании float16 или bfloat16 для вычислений и float32 для переменных. Именно поэтому в названии API используется термин mixed_precision. Смешанную точность можно включить, передав "mixed_float16" или "mixed_bfloat16" в keras.mixed_precision.set_dtype_policy().

keras.config.set_dtype_policy("mixed_float16")
layer1 = keras.layers.Dense(10)
layer1.dtype_policy  # layer1 will automatically use mixed precision
<DTypePolicy "mixed_float16">
# Can optionally override layer to use float32
# instead of mixed precision.
layer2 = keras.layers.Dense(10, dtype="float32")
layer2.dtype_policy
<DTypePolicy "float32">
# Set policy back to initial float32.
keras.config.set_dtype_policy('float32')

В приведенном выше примере передача dtype="float32" слою равнозначна передаче dtype=keras.config.DTypePolicy("float32"). В общем случае передача слою имени политики типа данных равнозначна передаче соответствующей политики, поэтому явно создавать объект DTypePolicy не требуется.

Атрибуты

Атрибуты
`compute_dtype`	Вычисляемый тип данных этой политики. Это тип данных, в котором слои выполняют вычисления. Как правило, слои также возвращают тензоры с этим вычисляемым типом данных. Обратите внимание: даже если вычисляемый тип данных — float16 или bfloat16, аппаратные устройства могут выполнять отдельные операции сложения, умножения и другие базовые операции не в float16 или bfloat16, а в float32 — для повышения численной стабильности. Вычисляемый тип данных — это тип данных входов и выходов операций, выполняемых слоем. Для повышения численной стабильности многие операции внутри себя выполняют отдельные вычисления в float32 или в другом внутреннем промежуточном формате устройства с более высокой точностью, чем float16/bfloat16.
`name`	Возвращает имя этой политики.
`variable_dtype`	Тип данных переменных этой политики. Это тип данных, в котором слои создают переменные, если только слой явно не выберет другой тип данных. Если он отличается от `DTypePolicy.compute_dtype`, слои преобразуют переменные к вычисляемому типу данных, чтобы избежать ошибок типов. Регуляризаторы переменных выполняются в типе данных переменных, а не в вычисляемом типе данных.

compute_dtype

Вычисляемый тип данных этой политики.

Это тип данных, в котором слои выполняют вычисления. Как правило, слои также возвращают тензоры с этим вычисляемым типом данных.

Обратите внимание: даже если вычисляемый тип данных — float16 или bfloat16, аппаратные устройства могут выполнять отдельные операции сложения, умножения и другие базовые операции не в float16 или bfloat16, а в float32 — для повышения численной стабильности. Вычисляемый тип данных — это тип данных входов и выходов операций, выполняемых слоем. Для повышения численной стабильности многие операции внутри себя выполняют отдельные вычисления в float32 или в другом внутреннем промежуточном формате устройства с более высокой точностью, чем float16/bfloat16.

name Возвращает имя этой политики.

variable_dtype

Тип данных переменных этой политики.

Это тип данных, в котором слои создают переменные, если только слой явно не выберет другой тип данных. Если он отличается от DTypePolicy.compute_dtype, слои преобразуют переменные к вычисляемому типу данных, чтобы избежать ошибок типов.

Регуляризаторы переменных выполняются в типе данных переменных, а не в вычисляемом типе данных.

Методы

`convert_input`

Просмотреть исходный код

convert_input(
    x, autocast, dtype
)

`from_config`

Просмотреть исходный код

@classmethod
from_config(
    config
)

`get_config`

Просмотреть исходный код

get_config()

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/keras/FloatDTypePolicy