tf.data.experimental.service.WorkerServer

Сервер-работник службы tf.data в одном процессе.

tf.data.experimental.service.WorkerServer(
    config, start=True
)

A tf.data.experimental.service.WorkerServer выполняет обработку tf.data.Dataset для настраиваемых набором данных, и предоставляет полученные элементы через RPC. Работник ассоциирован с одним tf.data.experimental.service.DispatchServer.

dispatcher = tf.data.experimental.service.DispatchServer()
dispatcher_address = dispatcher.target.split("://")[1]
worker = tf.data.experimental.service.WorkerServer(
    tf.data.experimental.service.WorkerConfig(
        dispatcher_address=dispatcher_address))
dataset = tf.data.Dataset.range(10)
dataset = dataset.apply(tf.data.experimental.service.distribute(
    processing_mode="parallel_epochs", service=dispatcher.target))
print(list(dataset.as_numpy_iterator()))
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

При запуске отдельного процесса работника tf.data, используйте join(), чтобы заблокировать выполнение неопределённое время после запуска сервера.

worker = tf.data.experimental.service.WorkerServer(
    port=5051, dispatcher_address="grpc://localhost:5050")
worker.join()

Методы

join

Просмотреть исходный код

join()

Ожидает завершения работы сервера.

Это полезно при запуске отдельного процесса работника.

worker_server = tf.data.experimental.service.WorkerServer(
    port=5051, dispatcher_address="grpc://localhost:5050")
worker_server.join()

В данный момент этот метод блокирует выполнение навсегда.

start

Просмотреть исходный код

start()

Запускает этот сервер.