tf.data.experimental.load

Загружает ранее сохраненный набор данных. (устарела)

tf.data.experimental.load(
    path, element_spec=None, compression=None, reader_func=None
)

Пример использования:

import tempfile
path = os.path.join(tempfile.gettempdir(), "saved_data")
# Save a dataset
dataset = tf.data.Dataset.range(2)
tf.data.experimental.save(dataset, path)
new_dataset = tf.data.experimental.load(path)
for elem in new_dataset:
  print(elem)
tf.Tensor(0, shape=(), dtype=int64)
tf.Tensor(1, shape=(), dtype=int64)

Если при сохранении набора данных использовался параметр шардирования по умолчанию, порядок элементов сохраненного набора данных будет сохранен при его загрузке.

Аргумент reader_func можно использовать, чтобы указать собственный порядок загрузки элементов из отдельных шардов. Ожидается, что reader_func принимает один аргумент — набор данных, состоящий из наборов данных, каждый из которых содержит элементы одного из шардов, — и возвращает набор данных, состоящий из элементов. Например, при загрузке порядок шардов можно перемешать следующим образом:

def custom_reader_func(datasets):
  datasets = datasets.shuffle(NUM_SHARDS)
  return datasets.interleave(lambda x: x, num_parallel_calls=AUTOTUNE)

dataset = tf.data.experimental.load(
    path="/path/to/data", ..., reader_func=custom_reader_func)

Аргументы
`path`	Обязательный аргумент. Путь к ранее сохраненному набору данных.
`element_spec`	Необязательный аргумент. Вложенная структура объектов `tf.TypeSpec`, соответствующая структуре элемента сохраненного набора данных и задающая тип отдельных компонентов элемента. Если аргумент не указан, используется вложенная структура `tf.TypeSpec`, сохраненная вместе с набором данных. Обратите внимание, что этот аргумент обязателен в режиме графа.
`compression`	Необязательный аргумент. Алгоритм, используемый для распаковки данных при их чтении. Поддерживаются варианты `GZIP` и `NONE`. По умолчанию используется `NONE`.
`reader_func`	Необязательный аргумент. Функция, управляющая чтением данных из шардов. Если она указана, функция будет трассирована и выполнена как вычисление графа.

Возвращает
Экземпляр `tf.data.Dataset`.

Вызывает исключения
`FileNotFoundError`	Если `element_spec` не указан и сохраненную вложенную структуру `tf.TypeSpec` невозможно найти вместе с сохраненным набором данных.
`ValueError`	Если `element_spec` не указан, а метод выполняется в режиме графа.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/data/experimental/load