tf.contrib.framework.RecordInput
RecordInput асинхронно считывает и случайным образом возвращает TFRecords.
tf.contrib.framework.RecordInput(
file_pattern, batch_size=1, buffer_size=1, parallelism=1, shift_ratio=0, seed=0,
name=None, batches=None, compression_type=None
)
Операция RecordInput будет непрерывно асинхронно считывать пакет записей в буфер с фиксированной емкостью. Она также может асинхронно возвращать случайные записи из этого буфера.
Возврат записей не начнется, пока в буфер не будет помещено как минимум buffer_size / 2 элементов, чтобы обеспечить достаточную случайность.
Порядок чтения файлов будет сдвинут на каждый эпох на shift_amount, чтобы данные представлялись в другом порядке на каждой эпохе.
| Аргументы | |
|---|---|
file_pattern | Путь к файлу набора данных, возможно, содержащий подстановки. Все соответствующие файлы будут перебираться на каждой эпохе. |
batch_size | Количество записей для возврата за раз. |
buffer_size | Максимальное количество записей, которое может содержать буфер. |
parallelism | Количество потоков чтения, используемых для чтения из файлов. |
shift_ratio | Процент от общего числа файлов, на который нужно сдвинуть начальный файл на каждой эпохе. |
seed | Укажите начальное значение генератора случайных чисел, используемого для случайной выборки записей. |
name | Необязательное имя операции. |
batches | По умолчанию None, создается единственная операция пакетного задания. В противном случае указывает, сколько пакетов создать, которые возвращаются как список при вызове get_yield_op(). Пример использования — разделение обработки между устройствами на одном компьютере. |
compression_type | Тип сжатия для файла. В настоящее время поддерживаются ZLIB и GZIP. По умолчанию — без сжатия. |
| Исключения | |
|---|---|
ValueError | Если один из аргументов некорректен. |
Методы
get_yield_op
get_yield_op()
Добавляет узел, который возвращает группу записей каждый раз при выполнении. Если параметр RecordInput batches не равен None, он возвращает список пакетов записей со специфицированным batch_size.
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/contrib/framework/RecordInput
