tf.data.experimental.service.from_dataset_id

Создаёт набор данных, который считывает данные из службы tf.data.

tf.data.experimental.service.from_dataset_id(
    processing_mode, service, dataset_id, element_spec=None, job_name=None,
    max_outstanding_requests=None
)

Это полезно, когда набор данных регистрируется одним процессом, а затем используется другим процессом. Когда один и тот же процесс регистрирует и считывает набор данных, проще использовать tf.data.experimental.service.distribute вместо этого.

Перед использованием from_dataset_id, набор данных должен быть зарегистрирован в службе tf.data с помощью tf.data.experimental.service.register_dataset. register_dataset возвращает идентификатор зарегистрированного набора данных. Именно этот идентификатор dataset_id необходимо передать в from_dataset_id.

Аргумент element_spec указывает tf.TypeSpec элементы, создаваемые набором данных. В настоящее время element_spec необходимо явно указать и он должен соответствовать набору данных, зарегистрированному под dataset_id. element_spec по умолчанию None, чтобы в будущем можно было автоматически определять element_spec путём запроса к службе tf.data.

tf.data.experimental.service.distribute — это удобный метод, который объединяет register_dataset и from_dataset_id в преобразование набора данных. Подробнее о том, как работает from_dataset_id см. в документации для tf.data.experimental.service.distribute.

dispatcher = tf.data.experimental.service.DispatchServer()
dispatcher_address = dispatcher.target.split("://")[1]
worker = tf.data.experimental.service.WorkerServer(
    tf.data.experimental.service.WorkerConfig(
        dispatcher_address=dispatcher_address))
dataset = tf.data.Dataset.range(10)
dataset_id = tf.data.experimental.service.register_dataset(
    dispatcher.target, dataset)
dataset = tf.data.experimental.service.from_dataset_id(
    processing_mode="parallel_epochs",
    service=dispatcher.target,
    dataset_id=dataset_id,
    element_spec=dataset.element_spec)
print(list(dataset.as_numpy_iterator()))
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]