Spec-Zone.ru › TensorFlow 2.3

tf.compat.v1.data.experimental.make_batched_features_dataset

Возвращает Dataset словарей признаков из Example протоколов.

tf.compat.v1.data.experimental.make_batched_features_dataset(
    file_pattern, batch_size, features, reader=None, label_key=None,
    reader_args=None, num_epochs=None, shuffle=True, shuffle_buffer_size=10000,
    shuffle_seed=None, prefetch_buffer_size=None, reader_num_threads=None,
    parser_num_threads=None, sloppy_ordering=False, drop_final_batch=False
)

Если аргумент label_key указан, возвращает Dataset кортеж, состоящий из словарей признаков и метки.

Пример:

serialized_examples = [
  features {
    feature { key: "age" value { int64_list { value: [ 0 ] } } }
    feature { key: "gender" value { bytes_list { value: [ "f" ] } } }
    feature { key: "kws" value { bytes_list { value: [ "code", "art" ] } } }
  },
  features {
    feature { key: "age" value { int64_list { value: [] } } }
    feature { key: "gender" value { bytes_list { value: [ "f" ] } } }
    feature { key: "kws" value { bytes_list { value: [ "sports" ] } } }
  }
]

Можно использовать аргументы:

features: {
  "age": FixedLenFeature([], dtype=tf.int64, default_value=-1),
  "gender": FixedLenFeature([], dtype=tf.string),
  "kws": VarLenFeature(dtype=tf.string),
}

И ожидаемый результат:

{
  "age": [[0], [-1]],
  "gender": [["f"], ["f"]],
  "kws": SparseTensor(
    indices=[[0, 0], [0, 1], [1, 0]],
    values=["code", "art", "sports"]
    dense_shape=[2, 2]),
}
Аргументы
file_pattern Список файлов или шаблонов путей к файлам, содержащим Example записи. Смотрите tf.io.gfile.glob для правил шаблонов.
batch_size Целое число, представляющее количество записей для объединения в одной партии.
features dict отображение ключей признаков на FixedLenFeature или VarLenFeature значения. Смотрите tf.io.parse_example.
reader Функция или класс, который можно вызвать с тензором filenames, (необязательно) reader_args и возвращает Dataset тензоров Example. По умолчанию tf.data.TFRecordDataset.
label_key (Необязательно) Строка, соответствующая ключу, в котором хранятся метки в tf.Examples. При указании, она должна быть одним из features ключей, иначе приводит к ValueError.
reader_args Дополнительные аргументы для передачи в класс ридера.
num_epochs Целое число, указывающее количество проходов по набору данных. Если None, циклически проходит по набору данных бесконечно. По умолчанию None.
shuffle Булево значение, указывает, нужно ли перемешивать входные данные. По умолчанию True.
shuffle_buffer_size Размер буфера ShuffleDataset. Большая емкость обеспечивает лучшее перемешивание, но увеличит использование памяти и время запуска.
shuffle_seed Семена для рандомизации при перемешивании.
prefetch_buffer_size Количество партий признаков для предварительной выборки, чтобы улучшить производительность. Рекомендуемое значение - количество партий, используемых на шаге обучения. По умолчанию настраивается автоматически.
reader_num_threads Количество потоков, используемых для чтения Example записей. Если >1, результаты будут чередоваться. По умолчанию 1.
parser_num_threads Количество потоков для обработки Example тензоров в словарь Feature тензоров. По умолчанию 2.
sloppy_ordering Если True, производительность чтения будет улучшена за счет недетерминированного порядка. Если False, порядок элементов, производимых до перемешивания, детерминирован (элементы все равно рандомизируются, если shuffle=True. Обратите внимание, что если семя установлено, порядок элементов после перемешивания детерминирован). По умолчанию False.
drop_final_batch Если True, и размер пакета не делится без остатка на размер набора данных, последняя меньшая партия будет отброшена. По умолчанию False.
Возвращает
Набор данных dict элементов (или кортеж из dict элементов и метки). Каждый dict отображает ключи признаков на Tensor или SparseTensor объекты.
Возбуждает
TypeError Если reader имеет неправильный тип.
ValueError Если label_key не является одним из features ключей.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/compat/v1/data/experimental/make_batched_features_dataset

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API