Spec-Zone.ru › TensorFlow 2.9

tf.compat.v1.train.batch_join

Выполняет список тензоров для заполнения очереди, чтобы создать пакеты примеров. (устарело)

tf.compat.v1.train.batch_join(
    tensors_list,
    batch_size,
    capacity=32,
    enqueue_many=False,
    shapes=None,
    dynamic_pad=False,
    allow_smaller_final_batch=False,
    shared_name=None,
    name=None
)
Устарело: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущей версии. Инструкции по обновлению: Вводные конвейеры на основе очередей были заменены на tf.data. Используйте tf.data.Dataset.interleave(...).batch(batch_size) (или padded_batch(...) если dynamic_pad=True).

Аргумент tensors_list представляет собой список кортежей тензоров или список словарей тензоров. Каждый элемент в списке обрабатывается аналогично аргументу tensors функции tf.compat.v1.train.batch().

Предупреждение: Эта функция не является детерминированной, так как для каждого тензора запускается отдельный поток.

В разные потоки добавляется разный список тензоров. Реализация выполняется с использованием очереди — QueueRunner для очереди добавляется в текущую Graph коллекцию QUEUE_RUNNER.

len(tensors_list) потоков будет запущено, при этом поток i добавляет тензоры из tensors_list[i]. tensors_list[i1][j] должен совпадать с tensors_list[i2][j] по типу и форме, за исключением первого измерения, если enqueue_many равно true.

Если enqueue_many равно False, каждый tensors_list[i] предполагается, что представляет собой один пример. Входной тензор x будет выведен как тензор с формой [batch_size] + x.shape.

Если enqueue_many равно True, tensors_list[i] предполагается, что представляет собой пакет примеров, где первое измерение индексируется примером, и все члены tensors_list[i] должны иметь одинаковый размер в первом измерении. Срезы любого входного тензора x обрабатываются как примеры, и выходные тензоры будут иметь форму [batch_size] + x.shape[1:].

Аргумент capacity управляет тем, как долго предварительная обработка разрешена для увеличения очередей.

Возвращаемая операция — это операция декьюинга и вызовет tf.errors.OutOfRangeError, если очередь ввода исчерпана. Если эта операция подаёт данные в другую очередь ввода, её обработчик очереди перехватит эту ошибку, однако, если эта операция используется в вашем основном потоке, вы сами несете ответственность за перехват этой ошибки.

Примечание: Если dynamic_pad равно False, вы должны убедиться, что либо (i) передан аргумент shapes, либо (ii) все тензоры в tensors_list должны иметь полностью определённые формы. ValueError будет вызвано, если ни одно из этих условий не выполняется.

Если dynamic_pad равно True, достаточно, чтобы был известен ранг тензоров, но отдельные размеры могут иметь значение None. В этом случае для каждого добавления в очередь размеры со значением None могут иметь переменную длину; при декьюинге выходные тензоры будут дополнены справа до максимальной формы тензоров в текущем мини-пакете. Для чисел это заполнение принимает значение 0. Для строк это заполнение — пустая строка. См. PaddingFIFOQueue для получения дополнительной информации.

Если allow_smaller_final_batch равно True, значение меньшего пакета, чем batch_size возвращается, когда очередь закрывается и нет достаточно элементов для заполнения пакета, иначе ожидаемые элементы отбрасываются. Кроме того, все статические формы выходных тензоров, доступные через свойство shape, будут иметь значение первого Dimension равное None, и операции, зависящие от фиксированного значения batch_size, завершатся неудачей.

Аргументы
tensors_list Список кортежей или словарей тензоров для добавления в очередь.
batch_size Целое число. Новый размер пакета, извлечённый из очереди.
capacity Целое число. Максимальное количество элементов в очереди.
enqueue_many Каждый тензор в tensor_list_list представляет собой отдельный пример.
shapes (Необязательно) Формы для каждого примера. По умолчанию соответствуют выведенным формам для tensor_list_list[i].
dynamic_pad Булево. Разрешить переменные размеры в формах входных данных. Заданные размеры дополняются при декьюинге таким образом, чтобы тензоры в пакете имели одинаковые формы.
allow_smaller_final_batch (Необязательно) Булево. Если True, разрешить, чтобы итоговый пакет был меньше, если в очереди недостаточно элементов.
shared_name (Необязательно) Если задано, эта очередь будет совместно использоваться под данным именем в нескольких сессиях.
name (Необязательно) Имя для операций.
Возвращаемые значения
Список или словарь тензоров с тем же количеством и типами, что и tensors_list[i].
Возможные исключения
ValueError Если shapes не заданы и не могут быть выведены из элементов tensor_list_list.

совместимость с eager

Вводные конвейеры на основе очередей не поддерживаются при включенном режиме eager. Пожалуйста, используйте API tf.data для обработки данных в режиме eager.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/compat/v1/train/batch_join

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API