tf.data.experimental.service.register_dataset

Регистрирует набор данных в службе tf.data.

Просмотр псевдонимов

Псевдонимы совместимости для миграции

См. Руководство по миграции для получения дополнительных сведений.

tf.compat.v1.data.experimental.service.register_dataset

tf.data.experimental.service.register_dataset(
    service, dataset, compression='AUTO', dataset_id=None
) -> tf.Tensor

register_dataset регистрирует набор данных в службе tf.data, чтобы наборы данных можно было создать позже с помощью tf.data.experimental.service.from_dataset_id. Это полезно, когда набор данных регистрируется одним процессом, а затем используется в другом. Когда один и тот же процесс регистрирует и считывает данные из набора данных, проще использовать tf.data.experimental.service.distribute вместо этого.

Если набор данных уже зарегистрирован в службе tf.data, register_dataset возвращает идентификатор уже зарегистрированного набора данных.

dispatcher = tf.data.experimental.service.DispatchServer()
dispatcher_address = dispatcher.target.split("://")[1]
worker = tf.data.experimental.service.WorkerServer(
    tf.data.experimental.service.WorkerConfig(
        dispatcher_address=dispatcher_address))
dataset = tf.data.Dataset.range(10)
dataset_id = tf.data.experimental.service.register_dataset(
    dispatcher.target, dataset)
dataset = tf.data.experimental.service.from_dataset_id(
    processing_mode="parallel_epochs",
    service=dispatcher.target,
    dataset_id=dataset_id,
    element_spec=dataset.element_spec)
print(list(dataset.as_numpy_iterator()))
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

Аргументы
`service`	Строка или кортеж, указывающие, как подключиться к службе tf.data. Если это строка, она должна быть в формате `[<protocol>://]<address>`, где `<address>` идентифицирует адрес диспетчера, а `<protocol>` необязательно используется для переопределения используемого протокола по умолчанию. Если это кортеж, он должен быть (протокол, адрес).
`dataset`	`tf.data.Dataset` для регистрации в службе tf.data.
`compression`	(Необязательно.) Способ сжатия элементов набора данных перед передачей по сети. «AUTO» оставляет за службой tf.data runtime решение о том, как сжимать. `None` указывает, что сжатие не выполняется.
`dataset_id`	(Необязательно.) По умолчанию служба tf.data генерирует уникальный (строковый) идентификатор для каждого зарегистрированного набора данных. Если предоставлен `dataset_id`, будет использован указанный идентификатор. Если набор данных с соответствующим идентификатором уже существует, новый набор данных не регистрируется. Это полезно, если несколько задач обучения хотят (снова) использовать один и тот же набор данных для обучения. В этом случае они могут зарегистрировать набор данных с тем же идентификатором набора данных.

Возвращаемое значение
Скалярный строковый тензор, представляющий идентификатор набора данных.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/data/experimental/service/register_dataset