Spec-Zone.ru › TensorFlow 1.15

tf.contrib.learn.read_keyed_batch_examples_shared_queue

Добавляет операции для чтения, очереди, пакетной обработки Example протоколов. (устарело)

tf.contrib.learn.read_keyed_batch_examples_shared_queue(
    file_pattern, batch_size, reader, randomize_input=True, num_epochs=None,
    queue_capacity=10000, num_threads=1, read_batch_size=1, parse_fn=None,
    name=None, seed=None
)
Предупреждение: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущей версии. Инструкции по обновлению: Используйте tf.data.

При заданном шаблоне файла (или списке файлов) будет создана общая очередь для имён файлов, создана очередь для обработки, которая извлекает данные из общей очереди, читаются Example протоколы с помощью предоставленных reader, используется очередь пакетной обработки для создания пакетов примеров размера batch_size. Это обеспечивает гарантии посещения не более одного раза. Обратите внимание, что это работает только в том случае, если серверы параметров не прерваны или не перезапущены, или сессия не восстановлена из контрольной точки, так как состояние очереди не сохраняется в контрольной точке, и мы будем перезапускаться со всего списка файлов.

Все исполнители очереди добавляются в коллекцию исполнителей очереди и могут быть запущены с помощью start_queue_runners.

Все операции добавляются в график по умолчанию.

Используйте parse_fn если вам нужно выполнить разбор/обработку отдельных примеров.

Аргументы
file_pattern Список файлов или шаблонов путей к файлам, содержащим Example записи. См. tf.io.gfile.glob для правил шаблонов.
batch_size Целое число или скаляр Tensor, определяющий размер пакета.
reader Функция или класс, возвращающий объект с методом read, (тензор имени файла) -> (тензор примера).
randomize_input Необходимо ли рандомизировать вход.
num_epochs Целое число, определяющее количество проходов через набор данных. Если None, циклически обрабатывает набор данных бесконечно. ПРИМЕЧАНИЕ - Если указано, создаёт переменную, которую необходимо инициализировать, поэтому вызовите tf.compat.v1.local_variables_initializer() и выполните операцию в сессии.
queue_capacity Ёмкость очереди ввода.
num_threads Количество потоков, которые добавляют примеры в очередь.
read_batch_size Целое число или скаляр Tensor, определяющий количество записей для чтения сразу.
parse_fn Функция разбора, принимает Example тензор, возвращает разобранное представление. Если None, разбор не выполняется.
name Имя результирующей операции.
seed Целое число (необязательно). Используется в качестве семени, если randomize_input == True.
Возвращаемое значение
Возвращает кортеж:
  • Tensor строковых ключей.
  • Строковый Tensor пакет Example протокола.
Исключения
ValueError для недопустимых входных данных.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/contrib/learn/read_keyed_batch_examples_shared_queue

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API