tf.data.experimental.service.register_dataset

Регистрирует набор данных в службе tf.data.

tf.data.experimental.service.register_dataset(
    service, dataset, compression='AUTO'
)

register_dataset регистрирует набор данных в службе tf.data, чтобы наборы данных можно было создавать позже с помощью tf.data.experimental.service.from_dataset_id. Это полезно, когда набор данных регистрируется одним процессом, а затем используется в другом процессе. Если один и тот же процесс регистрирует и считывает набор данных, проще использовать tf.data.experimental.service.distribute вместо этого.

Если набор данных уже зарегистрирован в службе tf.data, register_dataset возвращает идентификатор уже зарегистрированного набора данных.

dispatcher = tf.data.experimental.service.DispatchServer()
dispatcher_address = dispatcher.target.split("://")[1]
worker = tf.data.experimental.service.WorkerServer(
    tf.data.experimental.service.WorkerConfig(
        dispatcher_address=dispatcher_address))
dataset = tf.data.Dataset.range(10)
dataset_id = tf.data.experimental.service.register_dataset(
    dispatcher.target, dataset)
dataset = tf.data.experimental.service.from_dataset_id(
    processing_mode="parallel_epochs",
    service=dispatcher.target,
    dataset_id=dataset_id,
    element_spec=dataset.element_spec)
print(list(dataset.as_numpy_iterator()))
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]