tf.contrib.data.make_batched_features_dataset
Возвращает Dataset словарей признаков из Example протоколов. (устарело)
tf.contrib.data.make_batched_features_dataset(
file_pattern, batch_size, features, reader=tf.data.TFRecordDataset,
label_key=None, reader_args=None, num_epochs=None, shuffle=True,
shuffle_buffer_size=10000, shuffle_seed=None, prefetch_buffer_size=None,
reader_num_threads=None, parser_num_threads=None, sloppy_ordering=False,
drop_final_batch=False
)
Если аргумент label_key предоставлен, возвращает Dataset кортеж, содержащий словари признаков и метку.
Пример:
serialized_examples = [
features {
feature { key: "age" value { int64_list { value: [ 0 ] } } }
feature { key: "gender" value { bytes_list { value: [ "f" ] } } }
feature { key: "kws" value { bytes_list { value: [ "code", "art" ] } } }
},
features {
feature { key: "age" value { int64_list { value: [] } } }
feature { key: "gender" value { bytes_list { value: [ "f" ] } } }
feature { key: "kws" value { bytes_list { value: [ "sports" ] } } }
}
]
Можно использовать аргументы:
features: {
"age": FixedLenFeature([], dtype=tf.int64, default_value=-1),
"gender": FixedLenFeature([], dtype=tf.string),
"kws": VarLenFeature(dtype=tf.string),
}
И ожидаемый результат:
{
"age": [[0], [-1]],
"gender": [["f"], ["f"]],
"kws": SparseTensor(
indices=[[0, 0], [0, 1], [1, 0]],
values=["code", "art", "sports"]
dense_shape=[2, 2]),
}
| Аргументы | |
|---|---|
file_pattern | Список файлов или шаблонов путей к файлам, содержащим Example записи. Смотрите tf.io.gfile.glob для правил шаблонов. |
batch_size | Целое число, представляющее количество записей для объединения в одну партию. |
features | dict сопоставление ключей признаков с FixedLenFeature или VarLenFeature значениями. Смотрите tf.io.parse_example. |
reader | Функция или класс, который можно вызвать со filenames тензором и (необязательно) reader_args и возвращает Dataset Example тензоров. По умолчанию tf.data.TFRecordDataset. |
label_key | (Необязательно) Строка, соответствующая ключу, в котором хранятся метки в tf.Examples. Если указан, он должен быть одним из features ключей, в противном случае это приводит к ValueError. |
reader_args | Дополнительные аргументы для передачи в класс ридера. |
num_epochs | Целое число, определяющее количество проходов по набору данных. Если None, циклически проходит по набору данных бесконечно. По умолчанию None. |
shuffle | Логическое значение, указывающее, следует ли перемешивать входные данные. По умолчанию True. |
shuffle_buffer_size | Размер буфера ShuffleDataset. Большая емкость обеспечивает лучшее перемешивание, но увеличивает использование памяти и время запуска. |
shuffle_seed | Семена рандомизации для перемешивания. |
prefetch_buffer_size | Количество партий признаков для предварительной выборки, чтобы улучшить производительность. Рекомендуемое значение — количество партий, потребляемых на этапе обучения. По умолчанию — автоматическое настройка. |
reader_num_threads | Количество потоков, используемых для чтения Example записей. Если >1, результаты будут чередующимися. По умолчанию 1. |
parser_num_threads | Количество потоков, используемых для анализа Example тензоров в словарь Feature тензоров. По умолчанию 2. |
sloppy_ordering | Если True, производительность чтения будет улучшена за счет не гарантированного порядка. Если False, порядок элементов, создаваемых до перемешивания, определен (элементы все равно случайны, если shuffle=True. Обратите внимание, что если семя установлено, порядок элементов после перемешивания определен). По умолчанию False. |
drop_final_batch | Если True, и размер пакета не делится нацело на размер входного набора данных, конечный меньший пакет будет пропущен. По умолчанию False. |
| Возвращаемые значения | |
|---|---|
Набор данных dict элементов (или кортеж dict элементов и метки). Каждый dict отображает ключи признаков на Tensor или SparseTensor объекты. |
| Исключения | |
|---|---|
ValueError | Если label_key не является одним из features ключей. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/contrib/data/make_batched_features_dataset