tf.data.experimental.service.from_dataset_id

Создаёт набор данных, считывающий данные из службы tf.data.

tf.data.experimental.service.from_dataset_id(
    processing_mode,
    service,
    dataset_id,
    element_spec=None,
    job_name=None,
    consumer_index=None,
    num_consumers=None,
    max_outstanding_requests=None,
    data_transfer_protocol=None,
    cross_trainer_cache=None,
    target_workers='AUTO'
) -> tf.data.Dataset

Это полезно, когда один процесс регистрирует набор данных, а другой использует его. Если один и тот же процесс и регистрирует набор данных, и считывает из него данные, проще использовать tf.data.experimental.service.distribute.

Прежде чем использовать from_dataset_id, набор данных необходимо зарегистрировать в службе tf.data с помощью tf.data.experimental.service.register_dataset. register_dataset возвращает идентификатор зарегистрированного набора данных. Именно этот dataset_id следует передать в from_dataset_id.

Аргумент element_spec указывает tf.TypeSpecs элементов, выдаваемых набором данных. В настоящее время element_spec необходимо задавать явно, и он должен соответствовать набору данных, зарегистрированному под dataset_id. По умолчанию element_spec имеет значение None, чтобы в будущем можно было автоматически определять element_spec, запрашивая службу tf.data.

tf.data.experimental.service.distribute — это вспомогательный метод, объединяющий register_dataset и from_dataset_id в преобразование набора данных. Подробнее о работе from_dataset_id см. в документации по tf.data.experimental.service.distribute.

dispatcher = tf.data.experimental.service.DispatchServer()
dispatcher_address = dispatcher.target.split("://")[1]
worker = tf.data.experimental.service.WorkerServer(
    tf.data.experimental.service.WorkerConfig(
        dispatcher_address=dispatcher_address))
dataset = tf.data.Dataset.range(10)
dataset_id = tf.data.experimental.service.register_dataset(
    dispatcher.target, dataset)
dataset = tf.data.experimental.service.from_dataset_id(
    processing_mode="parallel_epochs",
    service=dispatcher.target,
    dataset_id=dataset_id,
    element_spec=dataset.element_spec)
print(list(dataset.as_numpy_iterator()))
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]