Spec-Zone.ru › TensorFlow 1.15

tf.compat.v2.data.experimental.make_batched_features_dataset

Возвращает Dataset словарей характеристик из Example протоколов.

tf.compat.v2.data.experimental.make_batched_features_dataset(
    file_pattern, batch_size, features, reader=tf.data.TFRecordDataset,
    label_key=None, reader_args=None, num_epochs=None, shuffle=True,
    shuffle_buffer_size=10000, shuffle_seed=None, prefetch_buffer_size=None,
    reader_num_threads=None, parser_num_threads=None, sloppy_ordering=False,
    drop_final_batch=False
)

Если предоставлен аргумент label_key, возвращает Dataset кортеж, состоящий из словарей характеристик и метки.

Пример:

serialized_examples = [
  features {
    feature { key: "age" value { int64_list { value: [ 0 ] } } }
    feature { key: "gender" value { bytes_list { value: [ "f" ] } } }
    feature { key: "kws" value { bytes_list { value: [ "code", "art" ] } } }
  },
  features {
    feature { key: "age" value { int64_list { value: [] } } }
    feature { key: "gender" value { bytes_list { value: [ "f" ] } } }
    feature { key: "kws" value { bytes_list { value: [ "sports" ] } } }
  }
]

Можно использовать аргументы:

features: {
  "age": FixedLenFeature([], dtype=tf.int64, default_value=-1),
  "gender": FixedLenFeature([], dtype=tf.string),
  "kws": VarLenFeature(dtype=tf.string),
}

И ожидаемый результат:

{
  "age": [[0], [-1]],
  "gender": [["f"], ["f"]],
  "kws": SparseTensor(
    indices=[[0, 0], [0, 1], [1, 0]],
    values=["code", "art", "sports"]
    dense_shape=[2, 2]),
}
Аргументы
file_pattern Список файлов или шаблонов путей к файлам, содержащим Example записи. Смотрите tf.io.gfile.glob для правил шаблонов.
batch_size Целое число, представляющее количество записей для объединения в одной партии.
features dict отображение ключей характеристик на FixedLenFeature или VarLenFeature значения. Смотрите tf.io.parse_example.
reader Функция или класс, который может быть вызван с filenames тензором и (необязательно) reader_args и возвращает Dataset Example тензоров. По умолчанию tf.data.TFRecordDataset.
label_key (Необязательно) Строка, соответствующая ключу, в котором хранятся метки в tf.Examples. Если указано, он должен быть одним из features ключей, в противном случае приводит к ValueError.
reader_args Дополнительные аргументы для передачи классу-читателю.
num_epochs Целое число, определяющее количество проходов по набору данных. Если None, циклически проходит по набору данных бесконечно. По умолчанию None.
shuffle Логическое значение, указывает, нужно ли перемешивать входные данные. По умолчанию True.
shuffle_buffer_size Размер буфера ShuffleDataset. Большая емкость обеспечивает лучшее перемешивание, но увеличивает использование памяти и время запуска.
shuffle_seed Семена для перемешивания.
prefetch_buffer_size Количество партий характеристик для предварительной выборки, чтобы повысить производительность. Рекомендуемое значение — количество партий, потребляемых на шаге обучения. По умолчанию настраивается автоматически.
reader_num_threads Количество потоков, используемых для чтения Example записей. Если >1, результаты будут перемежаться. По умолчанию 1.
parser_num_threads Количество потоков для использования при парсинге Example тензоров в словарь Feature тензоров. По умолчанию 2.
sloppy_ordering Если True, производительность чтения будет улучшена за счет недетерминированного порядка. Если False, порядок элементов, производимых до перемешивания, является детерминированным (элементы все равно случайны, если shuffle=True. Обратите внимание, что если seed установлен, то порядок элементов после перемешивания является детерминированным). По умолчанию False.
drop_final_batch Если True, и размер партии не делится нацело на размер входного набора данных, последняя меньшая партия будет отброшена. По умолчанию False.
Возвращает
Набор данных из dict элементов (или кортеж из dict элементов и метки). Каждый dict отображает ключи характеристик на Tensor или SparseTensor объекты.
Возбуждает
TypeError Если reader является подклассом tf.compat.v1.ReaderBase.
ValueError Если label_key не является одним из features ключей.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/compat/v2/data/experimental/make_batched_features_dataset

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API