tf.train.Example

An Example — это стандартный протокол, хранящий данные для обучения и вывода.

Используется в ноутбуках

Протокол Example представляет собой представление следующего типа Python:

Dict[str,
     Union[List[bytes],
           List[int64],
           List[float]]]

Он содержит хранилище пар «ключ-значение» Example.features, где каждый ключ (строка) сопоставляется с сообщением tf.train.Feature, которое содержит упорядоченный список фиксированного типа. Этот гибкий и компактный формат позволяет хранить большие объемы типизированных данных, но требует, чтобы форма и использование данных определялись файлами конфигурации и парсерами, которые используются для чтения и записи этого формата (подробности см. в tf.io.parse_example).

from google.protobuf import text_format
example = text_format.Parse('''
  features {
    feature {key: "my_feature"
             value {int64_list {value: [1, 2, 3, 4]} } }
  }''',
  tf.train.Example())

Используйте tf.io.parse_example, чтобы извлечь тензоры из сериализованного протокола Example:

tf.io.parse_example(
    example.SerializeToString(),
    features = {'my_feature': tf.io.RaggedFeature(dtype=tf.int64)})
{'my_feature': <tf.Tensor: shape=(4,), dtype=float32,
                           numpy=array([1, 2, 3, 4], dtype=int64)>}

Хотя список ключей и содержимое каждого ключа могут отличаться для каждого Example, TensorFlow ожидает фиксированный список ключей, каждый с фиксированным tf.dtype. Соответствующий набор данных Example подчиняется следующим соглашениям:

• Если существует функция K в одном примере с типом данных T, она должна быть типа T во всех других примерах при наличии. Она может быть опущена.
• Количество экземпляров данных списка функции K может варьироваться в разных примерах в зависимости от требований модели.
• Если функция K отсутствует в примере, будет использоваться специфический для K значение по умолчанию (если оно настроено).
• Если функция K существует в примере, но не содержит элементов, предполагается пустой тензор, и значение по умолчанию не будет использоваться.