tf.compat.v1.train.shuffle_batch_join
Создавать пакеты, случайным образом перемешивая тензоры. (устарело)
tf.compat.v1.train.shuffle_batch_join(
tensors_list,
batch_size,
capacity,
min_after_dequeue,
seed=None,
enqueue_many=False,
shapes=None,
allow_smaller_final_batch=False,
shared_name=None,
name=None
)
Аргумент tensors_list представляет собой список кортежей тензоров или список словарей тензоров. Каждый элемент в списке обрабатывается аналогично аргументу tensors функции tf.compat.v1.train.shuffle_batch().
В этой версии в разных потоках добавляются различные списки тензоров. К текущему Graph добавляется:
- Очередь перемешивания, в которую добавляются тензоры из
tensors_list. - Операция
dequeue_manyдля создания пакетов из очереди. - Коллекция
QueueRunnerдляQUEUE_RUNNERдобавления тензоров изtensors_list.
Будут запущены len(tensors_list) потоков, при этом поток i добавляет тензоры из tensors_list[i]. tensors_list[i1][j] должны соответствовать tensors_list[i2][j] по типу и форме, за исключением первого измерения, если enqueue_many равно true.
Если enqueue_many равно False, каждый tensors_list[i] предполагается как один пример. Входной тензор с формой [x, y, z] будет выведен как тензор с формой [batch_size, x, y, z].
Если enqueue_many равно True, tensors_list[i] предполагается как пакет примеров, где первое измерение индексируется примером, и все члены tensors_list[i] должны иметь одинаковый размер в первом измерении. Если входной тензор имеет форму [*, x, y, z], выходной будет иметь форму [batch_size, x, y, z].
Аргумент capacity управляет тем, как долго предобработка может увеличивать очереди.
Возвращаемая операция — это операция декьюирования и выбросит tf.errors.OutOfRangeError, если входная очередь исчерпана. Если эта операция питает другую входную очередь, её потоковая задержка перехватит эту исключительную ситуацию. Однако, если эта операция используется в вашем основном потоке, вы ответственны за её перехват самостоятельно.
Если allow_smaller_final_batch равно True, значение пакета меньше batch_size возвращается, когда очередь закрывается, и нет достаточно элементов для заполнения пакета; в противном случае ожидаемые элементы отбрасываются. Кроме того, статические формы всех выходных тензоров, доступные через свойство shape, будут иметь первое значение Dimension равное None, и операции, зависящие от фиксированного значения batch_size, завершатся с ошибкой.
| Args | |
|---|---|
tensors_list | Список кортежей или словарей тензоров для добавления в очередь. |
batch_size | Целое число. Новый размер пакета, извлеченного из очереди. |
capacity | Целое число. Максимальное количество элементов в очереди. |
min_after_dequeue | Минимальное количество элементов в очереди после декьюирования, используемое для обеспечения уровня смешивания элементов. |
seed | Семена для случайного перемешивания в очереди. |
enqueue_many | Является ли каждый тензор в tensor_list_list отдельным примером. |
shapes | (Необязательно) Формы для каждого примера. По умолчанию – вычисленные формы для tensors_list[i]. |
allow_smaller_final_batch | (Необязательно) Булево значение. Разрешить уменьшение конечного пакета, если в очереди недостаточно элементов. |
shared_name | (необязательно). Если задано, эта очередь будет использоваться совместно под заданным именем в нескольких сессиях. |
name | (Необязательно) Имя для операций. |
| Returns | |
|---|---|
Список или словарь тензоров с тем же количеством и типами, что и tensors_list[i]. |
| Raises | |
|---|---|
ValueError | Если shapes не указаны и не могут быть выведены из элементов tensors_list. |
совместимость с eager-выполнением
Конвейеры ввода, основанные на очередях, не поддерживаются при включенном eager-выполнении. Пожалуйста, используйте API tf.data для приема данных при включенном eager-выполнении.
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/compat/v1/train/shuffle_batch_join