tf.contrib.training.bucket

Ленивая буферизация входных тензоров в зависимости от which_bucket.

tf.contrib.training.bucket(
    tensors, which_bucket, batch_size, num_buckets, num_threads=1, capacity=32,
    bucket_capacities=None, shapes=None, dynamic_pad=False,
    allow_smaller_final_batch=False, keep_input=True, shared_name=None, name=None
)

Аргумент tensors может быть списком или словарем тензоров. Значение, возвращаемое функцией, будет того же типа, что и tensors.

Тензоры, входящие в эту функцию, помещаются в бакет, определяемый which_bucket. Каждый бакет имеет свою очередь. Когда бакет содержит batch_size элементов, этот мини-пакет помещается в очередь верхнего уровня. Тензоры, возвращаемые этой функцией, являются результатом декьюинга следующего мини-пакета из этой очереди верхнего уровня.

Эта функция реализована с помощью нескольких очередей. QueueRunner для очередей добавляется в текущую Graph's QUEUE_RUNNER коллекцию.

Поскольку возвращаемые тензоры являются результатом операции декьюинга, их оценка вызовет tf.errors.OutOfRangeError при истощении входной очереди. Если эти тензоры подают в другую входную очередь, её обработчик очереди поймает это исключение; однако, если они используются в вашем основном потоке, вы должны поймать его самостоятельно.

Примечание: Если dynamic_pad равно False, вы должны убедиться, что либо (i) передан аргумент shapes, либо (ii) все тензоры в tensors имеют полностью определенные формы. ValueError будет поднято, если ни одно из этих условий не выполняется.

Если dynamic_pad равно True, достаточно, чтобы был известен ранг тензоров, но отдельные размерности могут иметь форму None. В этом случае для каждого энкоуинга размерности со значением None могут иметь переменную длину; при декьюинге выходные тензоры будут дополнены справа до максимальной формы тензоров в текущем мини-пакете. Для чисел это заполнение имеет значение 0. Для строк это заполнение — пустая строка. См. PaddingFIFOQueue для получения дополнительной информации.

Если allow_smaller_final_batch равно True, при закрытии очередей возвращается меньшее значение пакета, чем batch_size, если элементов недостаточно для заполнения пакета; в противном случае ожидающие элементы отбрасываются. Кроме того, все статические формы выходных тензоров, доступные через метод get_shape(), будут иметь нулевое значение Dimension равное None, и операции, зависящие от фиксированного batch_size, завершатся ошибкой.