tf.contrib.data.bucket_by_sequence_length

Преобразование, которое группирует элементы в Dataset по длине. (устаревшее)

tf.contrib.data.bucket_by_sequence_length(
    element_length_func, bucket_boundaries, bucket_batch_sizes, padded_shapes=None,
    padding_values=None, pad_to_bucket_boundary=False, no_padding=False
)

Элементы Dataset группируются по длине, а затем заполняются и объединяются в пакеты.

Это полезно для задач с последовательностями, где элементы имеют переменную длину. Группирование элементов с похожими длинами уменьшает общую долю заполнения в пакете, что повышает эффективность шагов обучения.

Аргументы
`element_length_func`	функция, преобразующая элемент в `Dataset` в `tf.int32`, определяющая длину элемента, которая определяет корзину, в которую он попадает.
`bucket_boundaries`	`list<int>`, верхние границы длин корзин.
`bucket_batch_sizes`	`list<int>`, размер пакета на корзину. Длина должна быть `len(bucket_boundaries) + 1`.
`padded_shapes`	Вложенная структура `tf.TensorShape` для передачи в `tf.data.Dataset.padded_batch`. Если не указано, используется `dataset.output_shapes`, что приведет к тому, что переменные размерности будут заполнены до максимальной длины в каждом пакете.
`padding_values`	Значения для заполнения, передаваемые в `tf.data.Dataset.padded_batch`. По умолчанию заполнение нулями.
`pad_to_bucket_boundary`	bool, если `False`, будут заполнены размерности с неизвестным размером до максимальной длины в пакете. Если `True`, будут заполнены размерности с неизвестным размером до границы корзины минус 1 (т. е. максимальной длиной в каждой корзине), и вызывающая сторона должна гарантировать, что исходный `Dataset` не содержит элементов с длиной, превышающей `max(bucket_boundaries)`.
`no_padding`	`bool`, указывает, нужно ли заполнять пакетные атрибуты (атрибуты должны быть либо типа `tf.SparseTensor`, либо иметь одинаковую форму).

Возвращаемые значения
Функция преобразования `Dataset`, которую можно передать в `tf.data.Dataset.apply`.

Исключения
`ValueError`	если `len(bucket_batch_sizes) != len(bucket_boundaries) + 1`.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/contrib/data/bucket_by_sequence_length