Spec-Zone.ru › TensorFlow 2.3

tf.data.experimental.make_batched_features_dataset

Просмотреть исходный код на GitHub

Возвращает Dataset словарей признаков из Example протоколов.

tf.data.experimental.make_batched_features_dataset(
    file_pattern, batch_size, features, reader=None, label_key=None,
    reader_args=None, num_epochs=None, shuffle=True, shuffle_buffer_size=10000,
    shuffle_seed=None, prefetch_buffer_size=None, reader_num_threads=None,
    parser_num_threads=None, sloppy_ordering=False, drop_final_batch=False
)

Если передан аргумент label_key, возвращает Dataset кортеж, состоящий из словаря признаков и метки.

Пример:

serialized_examples = [
  features {
    feature { key: "age" value { int64_list { value: [ 0 ] } } }
    feature { key: "gender" value { bytes_list { value: [ "f" ] } } }
    feature { key: "kws" value { bytes_list { value: [ "code", "art" ] } } }
  },
  features {
    feature { key: "age" value { int64_list { value: [] } } }
    feature { key: "gender" value { bytes_list { value: [ "f" ] } } }
    feature { key: "kws" value { bytes_list { value: [ "sports" ] } } }
  }
]

Можно использовать аргументы:

features: {
  "age": FixedLenFeature([], dtype=tf.int64, default_value=-1),
  "gender": FixedLenFeature([], dtype=tf.string),
  "kws": VarLenFeature(dtype=tf.string),
}

И ожидаемый результат:

{
  "age": [[0], [-1]],
  "gender": [["f"], ["f"]],
  "kws": SparseTensor(
    indices=[[0, 0], [0, 1], [1, 0]],
    values=["code", "art", "sports"]
    dense_shape=[2, 2]),
}
Аргументы
file_pattern Список файлов или шаблонов путей к файлам, содержащих Example записи. Смотрите tf.io.gfile.glob для правил шаблонов.
batch_size Целое число, представляющее количество записей, которые следует объединить в одну партию.
features dict отображение ключей признаков на FixedLenFeature или VarLenFeature значения. Смотрите tf.io.parse_example.
reader Функция или класс, который можно вызвать с filenames тензором и (необязательно) reader_args и возвращает Dataset Example тензоров. По умолчанию tf.data.TFRecordDataset.
label_key (Необязательно) Строка, соответствующая ключу, в котором хранятся метки в tf.Examples. Если указано, оно должно быть одним из features ключей, иначе приводит к ValueError.
reader_args Дополнительные аргументы для передачи в класс ридера.
num_epochs Целое число, определяющее количество раз, которое нужно прочитать набор данных. Если None, циклически проходит набор данных бесконечно. По умолчанию None.
shuffle Логическое значение, указывающее, следует ли перемешивать входные данные. По умолчанию True.
shuffle_buffer_size Размер буфера ShuffleDataset. Большая емкость обеспечивает лучшее перемешивание, но увеличивает использование памяти и время запуска.
shuffle_seed Семена рандомизации для использования при перемешивании.
prefetch_buffer_size Количество партий признаков, которые нужно предварительно загрузить для повышения производительности. Рекомендуемое значение равно количеству партий, потребляемых на одном шаге обучения. По умолчанию настраивается автоматически.
reader_num_threads Количество потоков, используемых для чтения Example записей. Если >1, результаты будут переплетены. По умолчанию 1.
parser_num_threads Количество потоков, используемых для разбора Example тензоров в словарь Feature тензоров. По умолчанию 2.
sloppy_ordering Если True, производительность чтения будет улучшена за счет недетерминированного порядка. Если False, порядок элементов, производимых до перемешивания, является детерминированным (элементы все равно рандомизируются, если shuffle=True. Обратите внимание, что если семя установлено, порядок элементов после перемешивания является детерминированным). По умолчанию False.
drop_final_batch Если True, и размер пакета не делится равномерно на размер входного набора данных, последний меньший пакет будет отброшен. По умолчанию False.
Возвращает
Набор данных dict элементов (или кортеж dict элементов и метки). Каждый dict отображает ключи признаков на Tensor или SparseTensor объекты.
Возбуждает
TypeError Если reader имеет неправильный тип.
ValueError Если label_key не является одним из features ключей.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/data/experimental/make_batched_features_dataset

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API