tf.data.experimental.service.register_dataset

Регистрирует набор данных в сервисе tf.data.

Просмотреть псевдонимы

Псевдонимы для совместимости при миграции

Подробнее см. в руководстве по миграции.

tf.compat.v1.data.experimental.service.register_dataset

tf.data.experimental.service.register_dataset(
    service, dataset, compression='AUTO', dataset_id=None
) -> tf.Tensor

register_dataset регистрирует набор данных в сервисе tf.data, чтобы позднее создавать наборы данных с помощью tf.data.experimental.service.from_dataset_id. Это полезно, когда набор данных регистрируется одним процессом, а затем используется другим. Если один и тот же процесс и регистрирует набор данных, и считывает из него данные, проще использовать вместо этого tf.data.experimental.service.distribute.

Если набор данных уже зарегистрирован в сервисе tf.data, register_dataset возвращает идентификатор уже зарегистрированного набора данных.

dispatcher = tf.data.experimental.service.DispatchServer()
dispatcher_address = dispatcher.target.split("://")[1]
worker = tf.data.experimental.service.WorkerServer(
    tf.data.experimental.service.WorkerConfig(
        dispatcher_address=dispatcher_address))
dataset = tf.data.Dataset.range(10)
dataset_id = tf.data.experimental.service.register_dataset(
    dispatcher.target, dataset)
dataset = tf.data.experimental.service.from_dataset_id(
    processing_mode="parallel_epochs",
    service=dispatcher.target,
    dataset_id=dataset_id,
    element_spec=dataset.element_spec)
print(list(dataset.as_numpy_iterator()))
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

Аргументы
`service`	Строка или кортеж, указывающие, как подключиться к сервису tf.data. Если это строка, она должна иметь формат `[<protocol>://]<address>`, где `<address>` обозначает адрес диспетчера, а `<protocol>` можно использовать для переопределения протокола по умолчанию. Если это кортеж, он должен иметь вид (protocol, address).
`dataset`	`tf.data.Dataset`, который нужно зарегистрировать в сервисе tf.data.
`compression`	(Необязательно.) Способ сжатия элементов набора данных перед передачей по сети. Значение "AUTO" позволяет среде выполнения сервиса tf.data самостоятельно выбрать способ сжатия. `None` означает, что сжатие не используется.
`dataset_id`	(Необязательно.) По умолчанию сервис tf.data генерирует уникальный строковый идентификатор для каждого зарегистрированного набора данных. Если указан `dataset_id`, будет использоваться заданный идентификатор. Если набор данных с таким идентификатором уже существует, новый набор данных не регистрируется. Это полезно, если несколько заданий обучения хотят повторно использовать один и тот же набор данных. В этом случае они могут зарегистрировать набор данных с одним и тем же идентификатором.

Возвращаемое значение
Тензор-скаляр типа string, представляющий идентификатор набора данных.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/data/experimental/service/register_dataset