tf.data.experimental.load

Загружает ранее сохранённое множество данных.

tf.data.experimental.load(
    path, element_spec, compression=None, reader_func=None
)

Пример использования:

import tempfile
path = os.path.join(tempfile.gettempdir(), "saved_data")
# Save a dataset
dataset = tf.data.Dataset.range(2)
tf.data.experimental.save(dataset, path)
new_dataset = tf.data.experimental.load(path,
    tf.TensorSpec(shape=(), dtype=tf.int64))
for elem in new_dataset:
  print(elem)
tf.Tensor(0, shape=(), dtype=int64)
tf.Tensor(1, shape=(), dtype=int64)

Обратите внимание, что для загрузки ранее сохранённого множества данных необходимо указать element_spec — сигнатуру типа элементов сохранённого множества данных, которую можно получить с помощью tf.data.Dataset.element_spec. Это требование необходимо, чтобы вывод формы загруженных данных не потребовал выполнения операций ввода-вывода.

Если был использован параметр по умолчанию для фрагментации сохранённого множества данных, порядок элементов сохранённого множества данных будет сохранён при его загрузке.

Аргумент reader_func может использоваться для задания пользовательского порядка, в котором элементы должны загружаться из отдельных фрагментов. Функция reader_func должна принимать один аргумент — множество множеств данных, каждое из которых содержит элементы одного из фрагментов, — и возвращать множество элементов. Например, порядок фрагментов может быть перемешан при их загрузке следующим образом:

def custom_reader_func(datasets):
  datasets = datasets.shuffle(NUM_SHARDS)
  return datasets.interleave(lambda x: x, num_parallel_calls=AUTOTUNE)

dataset = tf.data.experimental.load(
    path="/path/to/data", ..., reader_func=custom_reader_func)