tf.train.Example

Объект Example — это стандартный протокол, используемый для хранения данных обучения и вывода.

Используется в блокнотах

Протокол Example представляет следующий тип данных Python:

Dict[str,
     Union[List[bytes],
           List[int64],
           List[float]]]

Он содержит хранилище «ключ-значение» Example.features, где каждому ключу (строке) соответствует сообщение tf.train.Feature, содержащее список элементов фиксированного типа. Этот гибкий и компактный формат позволяет хранить большие объёмы типизированных данных, однако для определения формы и способа использования данных необходимы файлы конфигурации и парсеры, применяемые для чтения и записи в этом формате (подробности см. в разделе tf.io.parse_example).

from google.protobuf import text_format
example = text_format.Parse('''
  features {
    feature {key: "my_feature"
             value {int64_list {value: [1, 2, 3, 4]} } }
  }''',
  tf.train.Example())

Используйте tf.io.parse_example, чтобы извлечь тензоры из сериализованного протокола Example:

tf.io.parse_example(
    example.SerializeToString(),
    features = {'my_feature': tf.io.RaggedFeature(dtype=tf.int64)})
{'my_feature': <tf.Tensor: shape=(4,), dtype=float32,
                           numpy=array([1, 2, 3, 4], dtype=int64)>}

Хотя список ключей и содержимое каждого ключа могут отличаться для каждого Example, TensorFlow ожидает фиксированный список ключей, каждый из которых имеет фиксированный tf.dtype. Набор данных Example, соответствующий требованиям, должен соблюдать следующие правила:

• Если в одном примере существует признак K с типом данных T, то при его наличии во всех остальных примерах он должен иметь тип T. Признак можно опустить.
• Количество экземпляров данных списка признака K может различаться в разных примерах в зависимости от требований модели.
• Если в примере отсутствует признак K, будет использоваться значение по умолчанию, заданное для K, если оно настроено.
• Если признак K существует в примере, но не содержит элементов, он считается пустым тензором, и значение по умолчанию использоваться не будет.