tf.compat.v1.data.experimental.make_batched_features_dataset
Возвращает Dataset словарей признаков из Example протоколов.
tf.compat.v1.data.experimental.make_batched_features_dataset(
file_pattern, batch_size, features, reader=None, label_key=None,
reader_args=None, num_epochs=None, shuffle=True, shuffle_buffer_size=10000,
shuffle_seed=None, prefetch_buffer_size=None, reader_num_threads=None,
parser_num_threads=None, sloppy_ordering=False, drop_final_batch=False
)
Если аргумент label_key задан, возвращает Dataset кортежа, содержащего словарь признаков и метку.
Пример:
serialized_examples = [
features {
feature { key: "age" value { int64_list { value: [ 0 ] } } }
feature { key: "gender" value { bytes_list { value: [ "f" ] } } }
feature { key: "kws" value { bytes_list { value: [ "code", "art" ] } } }
},
features {
feature { key: "age" value { int64_list { value: [] } } }
feature { key: "gender" value { bytes_list { value: [ "f" ] } } }
feature { key: "kws" value { bytes_list { value: [ "sports" ] } } }
}
]
Можно использовать следующие аргументы:
features: {
"age": FixedLenFeature([], dtype=tf.int64, default_value=-1),
"gender": FixedLenFeature([], dtype=tf.string),
"kws": VarLenFeature(dtype=tf.string),
}
И ожидаемый результат:
{
"age": [[0], [-1]],
"gender": [["f"], ["f"]],
"kws": SparseTensor(
indices=[[0, 0], [0, 1], [1, 0]],
values=["code", "art", "sports"]
dense_shape=[2, 2]),
}
| Аргументы | |
|---|---|
file_pattern |
Список файлов или шаблонов путей к файлам, содержащим Example записи. См. tf.io.gfile.glob для правил шаблонов. |
batch_size |
Целое число, представляющее количество записей, объединяемых в одну партию. |
features |
Словарь, сопоставляющий ключи признаков со значениями FixedLenFeature или VarLenFeature. См. tf.io.parse_example. |
reader |
Функция или класс, которые можно вызвать с тензором filenames и (необязательными) reader_args и которые возвращают Dataset тензоров Example. По умолчанию tf.data.TFRecordDataset. |
label_key |
(Необязательно) Строка, соответствующая ключу, в котором хранятся метки в tf.Examples. Если указан, он должен быть одним из features ключей, иначе приводит к ValueError. |
reader_args |
Дополнительные аргументы для передачи в класс ридера. |
num_epochs |
Целое число, определяющее количество проходов по набору данных. Если None, циклически просматривает набор данных бесконечно. По умолчанию None. |
shuffle |
Булево значение, указывающее, должен ли входной набор данных быть перемешан. По умолчанию True. |
shuffle_buffer_size |
Размер буфера ShuffleDataset. Большая емкость обеспечивает лучшее перемешивание, но увеличит использование памяти и время запуска. |
shuffle_seed |
Семена случайности для перемешивания. |
prefetch_buffer_size |
Количество партий признаков для предварительной выборки с целью повышения производительности. Рекомендуемое значение — количество партий, потребляемых на шаге обучения. По умолчанию настраивается автоматически. |
reader_num_threads |
Количество потоков, используемых для чтения Example записей. Если > 1, результаты будут чередуться. По умолчанию 1. |
parser_num_threads |
Количество потоков, используемых для разбора Example тензоров в словарь Feature тензоров. По умолчанию 2. |
sloppy_ordering |
Если True, производительность чтения будет улучшена за счет неопределенного порядка. Если False, порядок элементов, производимых до перемешивания, является детерминированным (элементы все равно случайным образом перемешиваются, если shuffle=True. Обратите внимание, что если семя установлено, порядок элементов после перемешивания является детерминированным). По умолчанию False. |
drop_final_batch |
Если True, и размер пакета не делит размер входного набора данных без остатка, конечная меньшая партия будет отброшена. По умолчанию False. |
| Возвращает | |
|---|---|
Набор данных из dict элементов (или кортеж из dict элементов и метки). Каждый dict сопоставляет ключи признаков со значениями Tensor или SparseTensor объектами. |
| Исключения | |
|---|---|
TypeError |
Если reader имеет неправильный тип. |
ValueError |
Если label_key не является одним из features ключей. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.4/api_docs/python/tf/compat/v1/data/experimental/make_batched_features_dataset