tf.data.experimental.service.from_dataset_id

Создаёт набор данных, который считывает данные из сервиса tf.data.

tf.data.experimental.service.from_dataset_id(
    processing_mode,
    service,
    dataset_id,
    element_spec=None,
    job_name=None,
    consumer_index=None,
    num_consumers=None,
    max_outstanding_requests=None,
    data_transfer_protocol=None,
    cross_trainer_cache=None,
    target_workers='AUTO'
) -> tf.data.Dataset

Это полезно, когда набор данных регистрируется одним процессом, а затем используется другим процессом. Когда один и тот же процесс одновременно регистрирует и считывает данные из набора данных, проще использовать tf.data.experimental.service.distribute вместо этого.

Перед использованием from_dataset_id, набор данных должен быть зарегистрирован в службе tf.data с помощью tf.data.experimental.service.register_dataset. register_dataset возвращает идентификатор зарегистрированного набора данных. Это тот dataset_id, который следует передать в from_dataset_id.

Аргумент element_spec указывает tf.TypeSpec элементов, генерируемых набором данных. В настоящее время element_spec необходимо явно указать и он должен соответствовать набору данных, зарегистрированному в dataset_id. element_spec по умолчанию равен None, чтобы в будущем мы могли поддерживать автоматическое обнаружение element_spec путём запроса к службе tf.data.

tf.data.experimental.service.distribute — это удобный метод, который объединяет register_dataset и from_dataset_id в преобразование набора данных. Смотрите документацию для tf.data.experimental.service.distribute для получения более подробной информации о том, как работает from_dataset_id.

dispatcher = tf.data.experimental.service.DispatchServer()
dispatcher_address = dispatcher.target.split("://")[1]
worker = tf.data.experimental.service.WorkerServer(
    tf.data.experimental.service.WorkerConfig(
        dispatcher_address=dispatcher_address))
dataset = tf.data.Dataset.range(10)
dataset_id = tf.data.experimental.service.register_dataset(
    dispatcher.target, dataset)
dataset = tf.data.experimental.service.from_dataset_id(
    processing_mode="parallel_epochs",
    service=dispatcher.target,
    dataset_id=dataset_id,
    element_spec=dataset.element_spec)
print(list(dataset.as_numpy_iterator()))
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]