tf.data.experimental.from_list

Создает набор данных, содержащий заданный список элементов.

tf.data.experimental.from_list(
    elements, name=None
)

Используется в блокнотах

Возвращаемый набор данных будет генерировать элементы списка по одному. Функциональность идентична Dataset.from_tensor_slices для скалярных элементов, но отличается для элементов со структурой. Рассмотрим следующий пример.

dataset = tf.data.experimental.from_list([(1, 'a'), (2, 'b'), (3, 'c')])
list(dataset.as_numpy_iterator())
[(1, b'a'), (2, b'b'), (3, b'c')]

Чтобы получить тот же результат, что и from_tensor_slices, данные необходимо переупорядочить:

dataset = tf.data.Dataset.from_tensor_slices(([1, 2, 3], ['a', 'b', 'c']))
list(dataset.as_numpy_iterator())
[(1, b'a'), (2, b'b'), (3, b'c')]

В отличие от from_tensor_slices, from_list поддерживает непрямоугольный ввод:

dataset = tf.data.experimental.from_list([[1], [2, 3]])
list(dataset.as_numpy_iterator())
[array([1], dtype=int32), array([2, 3], dtype=int32)]

Достижение того же результата с помощью from_tensor_slices требует использования разреженных тензоров.

from_list может быть более эффективным, чем from_tensor_slices в некоторых случаях, так как он избегает необходимости в срезке данных в каждом цикле. Однако он также может быть менее эффективным, поскольку данные хранятся как множество небольших тензоров, а не в виде нескольких больших тензоров, как в from_tensor_slices. Общее руководство заключается в том, чтобы предпочесть from_list с точки зрения производительности, когда количество элементов невелико (менее 1000).