Spec-Zone.ru › TensorFlow 2.4

tf.compat.v1.data.experimental.make_batched_features_dataset

Возвращает Dataset словарей признаков из Example протоколов.

tf.compat.v1.data.experimental.make_batched_features_dataset(
    file_pattern, batch_size, features, reader=None, label_key=None,
    reader_args=None, num_epochs=None, shuffle=True, shuffle_buffer_size=10000,
    shuffle_seed=None, prefetch_buffer_size=None, reader_num_threads=None,
    parser_num_threads=None, sloppy_ordering=False, drop_final_batch=False
)

Если аргумент label_key задан, возвращает Dataset кортежа, содержащего словарь признаков и метку.

Пример:

serialized_examples = [
  features {
    feature { key: "age" value { int64_list { value: [ 0 ] } } }
    feature { key: "gender" value { bytes_list { value: [ "f" ] } } }
    feature { key: "kws" value { bytes_list { value: [ "code", "art" ] } } }
  },
  features {
    feature { key: "age" value { int64_list { value: [] } } }
    feature { key: "gender" value { bytes_list { value: [ "f" ] } } }
    feature { key: "kws" value { bytes_list { value: [ "sports" ] } } }
  }
]

Можно использовать следующие аргументы:

features: {
  "age": FixedLenFeature([], dtype=tf.int64, default_value=-1),
  "gender": FixedLenFeature([], dtype=tf.string),
  "kws": VarLenFeature(dtype=tf.string),
}

И ожидаемый результат:

{
  "age": [[0], [-1]],
  "gender": [["f"], ["f"]],
  "kws": SparseTensor(
    indices=[[0, 0], [0, 1], [1, 0]],
    values=["code", "art", "sports"]
    dense_shape=[2, 2]),
}
Аргументы
file_pattern Список файлов или шаблонов путей к файлам, содержащим Example записи. См. tf.io.gfile.glob для правил шаблонов.
batch_size Целое число, представляющее количество записей, объединяемых в одну партию.
features Словарь, сопоставляющий ключи признаков со значениями FixedLenFeature или VarLenFeature. См. tf.io.parse_example.
reader Функция или класс, которые можно вызвать с тензором filenames и (необязательными) reader_args и которые возвращают Dataset тензоров Example. По умолчанию tf.data.TFRecordDataset.
label_key (Необязательно) Строка, соответствующая ключу, в котором хранятся метки в tf.Examples. Если указан, он должен быть одним из features ключей, иначе приводит к ValueError.
reader_args Дополнительные аргументы для передачи в класс ридера.
num_epochs Целое число, определяющее количество проходов по набору данных. Если None, циклически просматривает набор данных бесконечно. По умолчанию None.
shuffle Булево значение, указывающее, должен ли входной набор данных быть перемешан. По умолчанию True.
shuffle_buffer_size Размер буфера ShuffleDataset. Большая емкость обеспечивает лучшее перемешивание, но увеличит использование памяти и время запуска.
shuffle_seed Семена случайности для перемешивания.
prefetch_buffer_size Количество партий признаков для предварительной выборки с целью повышения производительности. Рекомендуемое значение — количество партий, потребляемых на шаге обучения. По умолчанию настраивается автоматически.
reader_num_threads Количество потоков, используемых для чтения Example записей. Если > 1, результаты будут чередуться. По умолчанию 1.
parser_num_threads Количество потоков, используемых для разбора Example тензоров в словарь Feature тензоров. По умолчанию 2.
sloppy_ordering Если True, производительность чтения будет улучшена за счет неопределенного порядка. Если False, порядок элементов, производимых до перемешивания, является детерминированным (элементы все равно случайным образом перемешиваются, если shuffle=True. Обратите внимание, что если семя установлено, порядок элементов после перемешивания является детерминированным). По умолчанию False.
drop_final_batch Если True, и размер пакета не делит размер входного набора данных без остатка, конечная меньшая партия будет отброшена. По умолчанию False.
Возвращает
Набор данных из dict элементов (или кортеж из dict элементов и метки). Каждый dict сопоставляет ключи признаков со значениями Tensor или SparseTensor объектами.
Исключения
TypeError Если reader имеет неправильный тип.
ValueError Если label_key не является одним из features ключей.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.4/api_docs/python/tf/compat/v1/data/experimental/make_batched_features_dataset

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API