tf.contrib.learn.read_keyed_batch_examples_shared_queue
Добавляет операции для чтения, очереди, пакетной обработки Example протоколов. (устарело)
tf.contrib.learn.read_keyed_batch_examples_shared_queue(
file_pattern, batch_size, reader, randomize_input=True, num_epochs=None,
queue_capacity=10000, num_threads=1, read_batch_size=1, parse_fn=None,
name=None, seed=None
)
При заданном шаблоне файла (или списке файлов) будет создана общая очередь для имён файлов, создана очередь для обработки, которая извлекает данные из общей очереди, читаются Example протоколы с помощью предоставленных reader, используется очередь пакетной обработки для создания пакетов примеров размера batch_size. Это обеспечивает гарантии посещения не более одного раза. Обратите внимание, что это работает только в том случае, если серверы параметров не прерваны или не перезапущены, или сессия не восстановлена из контрольной точки, так как состояние очереди не сохраняется в контрольной точке, и мы будем перезапускаться со всего списка файлов.
Все исполнители очереди добавляются в коллекцию исполнителей очереди и могут быть запущены с помощью start_queue_runners.
Все операции добавляются в график по умолчанию.
Используйте parse_fn если вам нужно выполнить разбор/обработку отдельных примеров.
| Аргументы | |
|---|---|
file_pattern | Список файлов или шаблонов путей к файлам, содержащим Example записи. См. tf.io.gfile.glob для правил шаблонов. |
batch_size | Целое число или скаляр Tensor, определяющий размер пакета. |
reader | Функция или класс, возвращающий объект с методом read, (тензор имени файла) -> (тензор примера). |
randomize_input | Необходимо ли рандомизировать вход. |
num_epochs | Целое число, определяющее количество проходов через набор данных. Если None, циклически обрабатывает набор данных бесконечно. ПРИМЕЧАНИЕ - Если указано, создаёт переменную, которую необходимо инициализировать, поэтому вызовите tf.compat.v1.local_variables_initializer() и выполните операцию в сессии. |
queue_capacity | Ёмкость очереди ввода. |
num_threads | Количество потоков, которые добавляют примеры в очередь. |
read_batch_size | Целое число или скаляр Tensor, определяющий количество записей для чтения сразу. |
parse_fn | Функция разбора, принимает Example тензор, возвращает разобранное представление. Если None, разбор не выполняется. |
name | Имя результирующей операции. |
seed | Целое число (необязательно). Используется в качестве семени, если randomize_input == True. |
| Возвращаемое значение | |
|---|---|
Возвращает кортеж:
|
| Исключения | |
|---|---|
ValueError | для недопустимых входных данных. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/contrib/learn/read_keyed_batch_examples_shared_queue