tf.data.experimental.bucket_by_sequence_length

Преобразование, распределяющее элементы в Dataset по корзинам в зависимости от длины. (устарело)

Просмотреть псевдонимы

Совместимые псевдонимы для миграции

Подробнее см. в руководстве по миграции.

tf.compat.v1.data.experimental.bucket_by_sequence_length

tf.data.experimental.bucket_by_sequence_length(
    element_length_func,
    bucket_boundaries,
    bucket_batch_sizes,
    padded_shapes=None,
    padding_values=None,
    pad_to_bucket_boundary=False,
    no_padding=False,
    drop_remainder=False
)

Элементы Dataset группируются по длине, а затем дополняются и объединяются в пакеты.

Это полезно для задач обработки последовательностей, в которых элементы имеют переменную длину. Группировка элементов схожей длины уменьшает общую долю дополнения в пакете, повышая эффективность шага обучения.

Ниже приведен пример распределения входных данных по 3 корзинам «[0, 3), [3, 5), [5, inf)» в зависимости от длины последовательности; размер пакета — 2.

elements = [
  [0], [1, 2, 3, 4], [5, 6, 7],
  [7, 8, 9, 10, 11], [13, 14, 15, 16, 19, 20], [21, 22]]

dataset = tf.data.Dataset.from_generator(
    lambda: elements, tf.int64, output_shapes=[None])

dataset = dataset.apply(
    tf.data.experimental.bucket_by_sequence_length(
        element_length_func=lambda elem: tf.shape(elem)[0],
        bucket_boundaries=[3, 5],
        bucket_batch_sizes=[2, 2, 2]))

for elem in dataset.as_numpy_iterator():
  print(elem)
[[1 2 3 4]
 [5 6 7 0]]
[[ 7  8  9 10 11  0]
 [13 14 15 16 19 20]]
[[ 0  0]
 [21 22]]

Также можно дополнить набор данных до границы корзины. Кроме того, можно указать значение, используемое для дополнения данных. В примере ниже в качестве значения для дополнения используется -1, а входные данные распределяются по двум корзинам «[0,3], [4,6]».

elements = [
  [0], [1, 2, 3, 4], [5, 6, 7],
  [7, 8, 9, 10, 11], [13, 14, 15, 16, 19, 20], [21, 22]]

dataset = tf.data.Dataset.from_generator(
  lambda: elements, tf.int32, output_shapes=[None])

dataset = dataset.apply(
    tf.data.experimental.bucket_by_sequence_length(
        element_length_func=lambda elem: tf.shape(elem)[0],
        bucket_boundaries=[4, 7],
        bucket_batch_sizes=[2, 2, 2],
        pad_to_bucket_boundary=True,
        padding_values=-1))

for elem in dataset.as_numpy_iterator():
  print(elem)
[[ 0 -1 -1]
 [ 5  6  7]]
[[ 1  2  3  4 -1 -1]
 [ 7  8  9 10 11 -1]]
[[21 22 -1]]
[[13 14 15 16 19 20]]

При использовании параметра pad_to_bucket_boundary видно, что размер пакета корзины не всегда удается сохранить. Пакеты, размер которых не соответствует размеру пакета корзины, можно отбрасывать с помощью параметра drop_remainder. При использовании тех же входных данных, что и в примере выше, получится следующий результат.

elements = [
  [0], [1, 2, 3, 4], [5, 6, 7],
  [7, 8, 9, 10, 11], [13, 14, 15, 16, 19, 20], [21, 22]]

dataset = tf.data.Dataset.from_generator(
  lambda: elements, tf.int32, output_shapes=[None])

dataset = dataset.apply(
    tf.data.experimental.bucket_by_sequence_length(
        element_length_func=lambda elem: tf.shape(elem)[0],
        bucket_boundaries=[4, 7],
        bucket_batch_sizes=[2, 2, 2],
        pad_to_bucket_boundary=True,
        padding_values=-1,
        drop_remainder=True))

for elem in dataset.as_numpy_iterator():
  print(elem)
[[ 0 -1 -1]
 [ 5  6  7]]
[[ 1  2  3  4 -1 -1]
 [ 7  8  9 10 11 -1]]

Аргументы
`element_length_func`	функция, преобразующая элемент из `Dataset` в `tf.int32`; определяет длину элемента, которая задает корзину, в которую он попадает.
`bucket_boundaries`	`list<int>`, верхние границы длины корзин.
`bucket_batch_sizes`	`list<int>`, размер пакета для каждой корзины. Длина должна быть `len(bucket_boundaries) + 1`.
`padded_shapes`	Вложенная структура из `tf.TensorShape`, передаваемая в `tf.data.Dataset.padded_batch`. Если не указана, будет использоваться `dataset.output_shapes`, в результате чего измерения переменной длины будут дополнены до максимальной длины в каждом пакете.
`padding_values`	Значения для дополнения, передаваемые в `tf.data.Dataset.padded_batch`. По умолчанию дополнение выполняется нулями.
`pad_to_bucket_boundary`	bool; если `False`, измерения с неизвестным размером будут дополнены до максимальной длины в пакете. Если `True`, измерения с неизвестным размером будут дополнены до границы корзины минус 1 (то есть до максимальной длины в каждой корзине), и вызывающий код должен убедиться, что исходный `Dataset` не содержит элементов длиной более `max(bucket_boundaries)`.
`no_padding`	`bool`; указывает, следует ли дополнять признаки пакета (признаки должны иметь тип `tf.sparse.SparseTensor` или одинаковую форму).
`drop_remainder`	(Необязательно.) Скалярный `tf.bool` `tf.Tensor`, указывающий, следует ли отбрасывать последний пакет, если в нем меньше `batch_size` элементов; по умолчанию пакет меньшего размера не отбрасывается.

Возвращает
Функцию преобразования `Dataset`, которую можно передать в `tf.data.Dataset.apply`.

Вызывает исключение
`ValueError`	если `len(bucket_batch_sizes) != len(bucket_boundaries) + 1`.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/data/experimental/bucket_by_sequence_length