tf.keras.layers.experimental.preprocessing.PreprocessingLayer

Базовый класс для слоев предобработки.

Наследуется от: Layer, Module

tf.keras.layers.experimental.preprocessing.PreprocessingLayer(
    **kwargs
)

Не используйте этот класс напрямую: это абстрактный базовый класс! Возможно, вам нужны один из многих встроенных слоев предобработки.

Слои предобработки — это слои, состояние которых вычисляется до начала обучения модели. Они не обновляются во время обучения. Большинство слоев предобработки реализуют метод adapt() для вычисления состояния.

Класс PreprocessingLayer — это базовый класс, который необходимо наследовать для реализации собственных слоев предобработки.

Методы

adapt

Просмотр исходного кода

adapt(
    data, batch_size=None, steps=None
)

Подбирает состояние слоя предобработки к передаваемым данным.

После вызова adapt для слоя состояние слоя предобработки не будет обновляться во время обучения. Чтобы сделать слои предобработки эффективными в любом контексте распределения, они сохраняются неизменными относительно любых скомпилированных tf.Graph, которые вызывают слой. Это не влияет на использование слоя при адаптации каждого слоя только один раз, но если вы адаптируете слой несколько раз, вам необходимо позаботиться о повторной компиляции любых скомпилированных функций следующим образом:

• Если вы добавляете слой предобработки в keras.Model, вам необходимо вызвать model.compile после каждого последующего вызова adapt.
• Если вы вызываете слой предобработки внутри tf.data.Dataset.map, вы должны вызвать map снова на входном tf.data.Dataset после каждого adapt.
• Если вы используете tf.function напрямую, который вызывает слой предобработки, вам необходимо вызвать tf.function снова на вашем вызываемом объекте после каждого последующего вызова adapt.

tf.keras.Model пример с несколькими адаптациями:

layer = tf.keras.layers.Normalization(
    axis=None)
layer.adapt([0, 2])
model = tf.keras.Sequential(layer)
model.predict([0, 1, 2])
array([-1.,  0.,  1.], dtype=float32)
layer.adapt([-1, 1])
model.compile() # This is needed to re-compile model.predict!
model.predict([0, 1, 2])
array([0., 1., 2.], dtype=float32)

tf.data.Dataset пример с несколькими адаптациями:

layer = tf.keras.layers.Normalization(
    axis=None)
layer.adapt([0, 2])
input_ds = tf.data.Dataset.range(3)
normalized_ds = input_ds.map(layer)
list(normalized_ds.as_numpy_iterator())
[array([-1.], dtype=float32),
 array([0.], dtype=float32),
 array([1.], dtype=float32)]
layer.adapt([-1, 1])
normalized_ds = input_ds.map(layer) # Re-map over the input dataset.
list(normalized_ds.as_numpy_iterator())
[array([0.], dtype=float32),
 array([1.], dtype=float32),
 array([2.], dtype=float32)]

adapt() предназначен только для использования на одной машине для вычисления состояния слоя. Чтобы проанализировать набор данных, который не помещается на одной машине, см. Tensorflow Transform для многомашинного решения map-reduce.

compile

Просмотр исходного кода

compile(
    run_eagerly=None, steps_per_execution=None
)

Настраивает слой для adapt.