Spec-Zone.ru › TensorFlow 2.4

tf.data.experimental.make_batched_features_dataset

Просмотреть исходный код на GitHub

Возвращает Dataset словарей признаков из Example протоколов.

tf.data.experimental.make_batched_features_dataset(
    file_pattern, batch_size, features, reader=None, label_key=None,
    reader_args=None, num_epochs=None, shuffle=True, shuffle_buffer_size=10000,
    shuffle_seed=None, prefetch_buffer_size=None, reader_num_threads=None,
    parser_num_threads=None, sloppy_ordering=False, drop_final_batch=False
)

Если аргумент label_key предоставлен, возвращает Dataset кортеж, содержащий словари признаков и метку.

Пример:

serialized_examples = [
  features {
    feature { key: "age" value { int64_list { value: [ 0 ] } } }
    feature { key: "gender" value { bytes_list { value: [ "f" ] } } }
    feature { key: "kws" value { bytes_list { value: [ "code", "art" ] } } }
  },
  features {
    feature { key: "age" value { int64_list { value: [] } } }
    feature { key: "gender" value { bytes_list { value: [ "f" ] } } }
    feature { key: "kws" value { bytes_list { value: [ "sports" ] } } }
  }
]

Мы можем использовать аргументы:

features: {
  "age": FixedLenFeature([], dtype=tf.int64, default_value=-1),
  "gender": FixedLenFeature([], dtype=tf.string),
  "kws": VarLenFeature(dtype=tf.string),
}

И ожидаемый результат:

{
  "age": [[0], [-1]],
  "gender": [["f"], ["f"]],
  "kws": SparseTensor(
    indices=[[0, 0], [0, 1], [1, 0]],
    values=["code", "art", "sports"]
    dense_shape=[2, 2]),
}
Аргументы
file_pattern Список файлов или шаблонов путей к файлам, содержащим Example записи. См. tf.io.gfile.glob для правил шаблонов.
batch_size Целое число, представляющее количество записей для объединения в одну партию.
features dict отображение ключей признаков на FixedLenFeature или VarLenFeature значения. См. tf.io.parse_example.
reader Функция или класс, который можно вызвать с filenames тензором и (необязательными) reader_args и возвращает Dataset Example тензоров. По умолчанию tf.data.TFRecordDataset.
label_key (Необязательно) Строка, соответствующая ключу, в котором хранятся метки tf.Examples. Если предоставлено, оно должно быть одним из features ключей, в противном случае приводит к ValueError.
reader_args Дополнительные аргументы для передачи классу ридера.
num_epochs Целое число, определяющее количество проходов по набору данных. Если None, циклически проходит по набору данных бесконечно. По умолчанию None.
shuffle Булево значение, указывающее, следует ли перемешивать входные данные. По умолчанию True.
shuffle_buffer_size Размер буфера ShuffleDataset. Большая емкость обеспечивает лучшее перемешивание, но увеличивает использование памяти и время запуска.
shuffle_seed Семен для перемешивания.
prefetch_buffer_size Количество партий признаков для предварительной выборки, чтобы улучшить производительность. Рекомендуемое значение — количество партий, используемых за один шаг обучения. По умолчанию настраивается автоматически.
reader_num_threads Количество потоков, используемых для чтения Example записей. Если >1, результаты будут чередуться. По умолчанию 1.
parser_num_threads Количество потоков для обработки Example тензоров в словарь Feature тензоров. По умолчанию 2.
sloppy_ordering Если True, производительность чтения будет улучшена за счет недетерминированного порядка. Если False, порядок элементов, генерируемых перед перемешиванием, является детерминированным (элементы все равно случайны, если shuffle=True. Обратите внимание, что если семя установлено, то порядок элементов после перемешивания детерминирован). По умолчанию False.
drop_final_batch Если True, и размер пакета не делится нацело на размер набора входных данных, конечная меньшая партия будет отброшена. По умолчанию False.
Возвращает
Набор dict элементов (или кортеж dict элементов и метки). Каждый dict отображает ключи признаков на Tensor или SparseTensor объекты.
Исключения
TypeError Если reader имеет неправильный тип.
ValueError Если label_key не является одним из features ключей.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.4/api_docs/python/tf/data/experimental/make_batched_features_dataset

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API