tf.train.Example

An Example — это стандартный протокол, хранящий данные для обучения и вывода.

Протокол Example представляет собой представление следующего типа Python:

Dict[str,
     Union[List[bytes],
           List[int64],
           List[float]]]

Он содержит хранилище ключ-значение Example.features, где каждый ключ (строка) сопоставляется с сообщением tf.train.Feature, которое содержит список фиксированного типа. Этот гибкий и компактный формат позволяет хранить большие объемы типизированных данных, но требует, чтобы форма и использование данных определялись конфигурационными файлами и парсерами, используемыми для чтения и записи этого формата (см. tf.io.parse_example для получения подробной информации).

from google.protobuf import text_format
example = text_format.Parse('''
  features {
    feature {key: "my_feature"
             value {int64_list {value: [1, 2, 3, 4]} } }
  }''',
  tf.train.Example())

Используйте tf.io.parse_example для извлечения тензоров из сериализованного протокола Example:

tf.io.parse_example(
    example.SerializeToString(),
    features = {'my_feature': tf.io.RaggedFeature(dtype=tf.int64)})
{'my_feature': <tf.Tensor: shape=(4,), dtype=float32,
                           numpy=array([1, 2, 3, 4], dtype=int64)>}

Хотя список ключей и содержимое каждого ключа могут отличаться для каждого Example, TensorFlow ожидает фиксированный список ключей, каждый с фиксированным tf.dtype. Соответствующий набор данных Example подчиняется следующим соглашениям:

• Если Feature K существует в одном примере с типом данных T, он должен быть типа T во всех других примерах при наличии. Он может быть опущен.
• Количество экземпляров данных списка Feature K может варьироваться в зависимости от требований модели.
• Если Feature K не существует в примере, будет использоваться K-специфичный по умолчанию, если он настроен.
• Если Feature K существует в примере, но не содержит элементов, предполагается, что это пустой тензор, и по умолчанию использоваться не будет.