Spec-Zone.ru › TensorFlow 1.15

tf.contrib.data.make_batched_features_dataset

Возвращает Dataset словарей признаков из Example протоколов. (устарело)

tf.contrib.data.make_batched_features_dataset(
    file_pattern, batch_size, features, reader=tf.data.TFRecordDataset,
    label_key=None, reader_args=None, num_epochs=None, shuffle=True,
    shuffle_buffer_size=10000, shuffle_seed=None, prefetch_buffer_size=None,
    reader_num_threads=None, parser_num_threads=None, sloppy_ordering=False,
    drop_final_batch=False
)
Предупреждение: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущей версии. Инструкции по обновлению: Используйте tf.data.experimental.make_batched_features_dataset(...).

Если аргумент label_key предоставлен, возвращает Dataset кортеж, содержащий словари признаков и метку.

Пример:

serialized_examples = [
  features {
    feature { key: "age" value { int64_list { value: [ 0 ] } } }
    feature { key: "gender" value { bytes_list { value: [ "f" ] } } }
    feature { key: "kws" value { bytes_list { value: [ "code", "art" ] } } }
  },
  features {
    feature { key: "age" value { int64_list { value: [] } } }
    feature { key: "gender" value { bytes_list { value: [ "f" ] } } }
    feature { key: "kws" value { bytes_list { value: [ "sports" ] } } }
  }
]

Можно использовать аргументы:

features: {
  "age": FixedLenFeature([], dtype=tf.int64, default_value=-1),
  "gender": FixedLenFeature([], dtype=tf.string),
  "kws": VarLenFeature(dtype=tf.string),
}

И ожидаемый результат:

{
  "age": [[0], [-1]],
  "gender": [["f"], ["f"]],
  "kws": SparseTensor(
    indices=[[0, 0], [0, 1], [1, 0]],
    values=["code", "art", "sports"]
    dense_shape=[2, 2]),
}
Аргументы
file_pattern Список файлов или шаблонов путей к файлам, содержащим Example записи. Смотрите tf.io.gfile.glob для правил шаблонов.
batch_size Целое число, представляющее количество записей для объединения в одну партию.
features dict сопоставление ключей признаков с FixedLenFeature или VarLenFeature значениями. Смотрите tf.io.parse_example.
reader Функция или класс, который можно вызвать со filenames тензором и (необязательно) reader_args и возвращает Dataset Example тензоров. По умолчанию tf.data.TFRecordDataset.
label_key (Необязательно) Строка, соответствующая ключу, в котором хранятся метки в tf.Examples. Если указан, он должен быть одним из features ключей, в противном случае это приводит к ValueError.
reader_args Дополнительные аргументы для передачи в класс ридера.
num_epochs Целое число, определяющее количество проходов по набору данных. Если None, циклически проходит по набору данных бесконечно. По умолчанию None.
shuffle Логическое значение, указывающее, следует ли перемешивать входные данные. По умолчанию True.
shuffle_buffer_size Размер буфера ShuffleDataset. Большая емкость обеспечивает лучшее перемешивание, но увеличивает использование памяти и время запуска.
shuffle_seed Семена рандомизации для перемешивания.
prefetch_buffer_size Количество партий признаков для предварительной выборки, чтобы улучшить производительность. Рекомендуемое значение — количество партий, потребляемых на этапе обучения. По умолчанию — автоматическое настройка.
reader_num_threads Количество потоков, используемых для чтения Example записей. Если >1, результаты будут чередующимися. По умолчанию 1.
parser_num_threads Количество потоков, используемых для анализа Example тензоров в словарь Feature тензоров. По умолчанию 2.
sloppy_ordering Если True, производительность чтения будет улучшена за счет не гарантированного порядка. Если False, порядок элементов, создаваемых до перемешивания, определен (элементы все равно случайны, если shuffle=True. Обратите внимание, что если семя установлено, порядок элементов после перемешивания определен). По умолчанию False.
drop_final_batch Если True, и размер пакета не делится нацело на размер входного набора данных, конечный меньший пакет будет пропущен. По умолчанию False.
Возвращаемые значения
Набор данных dict элементов (или кортеж dict элементов и метки). Каждый dict отображает ключи признаков на Tensor или SparseTensor объекты.
Исключения
ValueError Если label_key не является одним из features ключей.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/contrib/data/make_batched_features_dataset

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API