tf.data.experimental.save

Сохраняет содержимое заданного набора данных.

tf.data.experimental.save(
    dataset, path, compression=None, shard_func=None
)

Пример использования:

import tempfile
path = os.path.join(tempfile.gettempdir(), "saved_data")
# Save a dataset
dataset = tf.data.Dataset.range(2)
tf.data.experimental.save(dataset, path)
new_dataset = tf.data.experimental.load(path,
    tf.TensorSpec(shape=(), dtype=tf.int64))
for elem in new_dataset:
  print(elem)
tf.Tensor(0, shape=(), dtype=int64)
tf.Tensor(1, shape=(), dtype=int64)

Сохранённый набор данных сохраняется в нескольких файлах «фрагментах». По умолчанию вывод набора данных делится на фрагменты в порядке круговой очереди, но можно указать пользовательское разбиение фрагментов с помощью функции shard_func. Например, вы можете сохранить набор данных с использованием одного фрагмента следующим образом:

dataset = make_dataset()
def custom_shard_func(element):
  return 0
dataset = tf.data.experimental.save(
    path="/path/to/data", ..., shard_func=custom_shard_func)

Примечание: Структура каталога и формат файлов, используемые для сохранения набора данных, считаются деталями реализации и могут измениться. По этой причине наборы данных, сохраненные с помощью tf.data.experimental.save, должны потребляться только через tf.data.experimental.load, что гарантирует обратную совместимость.