tf.experimental.ExtensionTypeBatchEncoder

Класс для кодирования и декодирования значений типов расширений при пакетировании.

Чтобы API, такие как tf.data.Dataset, tf.keras и tf.map_fn, могли пакетировать и распаковывать значения типов расширений, эти значения необходимо кодировать в виде списка tf.Tensor. При этом пакетирование, распаковывание или объединение этих закодированных тензоров, а затем декодирование результата должны быть эквивалентны пакетированию, распаковыванию или объединению исходных значений. За реализацию такого кодирования отвечают ExtensionTypeBatchEncoder.

Кодировщик по умолчанию ExtensionTypeBatchEncoder, используемый в BatchableExtensionType, предполагает, что значения типов расширений можно пакетировать, распаковывать или объединять, просто пакетируя, распаковывая или объединяя каждое вложенное поле Tensor, ExtensionType, CompositeTensor и TensorShape.

Для типов расширений, для которых это условие не выполняется, потребуется переопределить __batch_encoder__, предоставив пользовательский кодировщик, переопределяющий методы batch, unbatch, encode и decode. Например:

class CustomBatchEncoder(ExtensionTypeBatchEncoder):
  pass # Override batch(), unbatch(), encode(), and decode().

class CustomType(BatchableExtensionType):
  x: tf.Tensor
  y: tf.Tensor
  shape: tf.TensorShape
  __batch_encoder__ = CustomBatchEncoder()

Например, tf.RaggedTensor и tf.SparseTensor используют пользовательское кодирование пакетов, в котором определены операции для «упаковки» и «распаковки» отдельных значений в тензоры tf.variant.

Методы

batch

Просмотреть исходный код

batch(
    spec, batch_size
)

Возвращает TypeSpec, представляющий пакет значений, описанных с помощью spec.

По умолчанию возвращается TypeSpec, равный spec, за исключением того, что к каждому вложенному полю TypeSpec и TensorShape добавляется внешняя ось размера batch_size. При необходимости подклассы могут переопределить это определение по умолчанию.

decode

Просмотреть исходный код

decode(
    spec, encoded_value
)

Декодирует value из пакетируемого тензорного представления.

Описание кодирования по умолчанию см. в encode. При необходимости подклассы могут переопределить это определение по умолчанию.

encode

Просмотреть исходный код

encode(
    spec, value, minimum_rank=0
)

Кодирует value как вложенную структуру пакетируемых тензоров или CompositeTensors.

По умолчанию возвращается плоский кортеж из всех Tensor, CompositeTensor и ExtensionType, полученных при обходе полей value в глубину. При необходимости подклассы могут переопределить это определение по умолчанию.

encoding_specs

Просмотреть исходный код

encoding_specs(
    spec
)

Возвращает список TensorSpec(ов), описывающих кодирование для spec.

Описание кодирования по умолчанию см. в encode. При необходимости подклассы могут переопределить это определение по умолчанию.

unbatch

Просмотреть исходный код

unbatch(
    spec
)

Возвращает TypeSpec для одного элемента без пакета в spec.

По умолчанию возвращается TypeSpec, равный spec, за исключением того, что крайняя внешняя ось удаляется из каждого вложенного поля TypeSpec и TensorShape. При необходимости подклассы могут переопределить это определение по умолчанию.