tf.distribute.experimental.rpc.Client

Класс клиента для вызова RPC на сервер.

Методы

`call`

call(
    method_name: str,
    args: Optional[Sequence[core_tf_types.Tensor]] = None,
    output_specs=None,
    timeout_in_ms=0
)

Метод для выполнения вызовов RPC на удалённый сервер.

Вызывает RPC на сервер, выполняя зарегистрированный метод method_name удалённо. Аргументы: method_name: Удалённый зарегистрированный метод для вызова args: Список аргументов для зарегистрированного метода. output_specs: Спецификации вывода для вывода из метода. Например, если tf.function: @tf.function(input_signature=[ tf.TensorSpec([], tf.int32), tf.TensorSpec([], tf.int32) ]) def multiply_fn(a, b): return tf.math.multiply(a, b) output_spec будет: tf.TensorSpec((), tf.int32) Если у вас есть доступ к TF Function, спецификации вывода можно сгенерировать из tf.function, вызвав: output_specs = tf.nest.map_structure(tf.type_spec_from_value, tf_function.get_concrete_function().structured_outputs Если output_specs не предоставлены, в ответе будет возвращён сплюснутый список тензоров. timeout_in_ms: Таймаут для этого вызова. Если 0, будет использоваться стандартный таймаут клиента.

Возвращает

Возвращает
Экземпляр класса `StatusOrResult` со следующими доступными методами. `is_ok()`: Возвращает True, если RPC успешно выполнено. `get_error()`: Возвращает код ошибки TF и сообщение об ошибке для RPC. `get_value()`: Возвращает возвращаемое значение из выполнения удалённой TF функции при успешном RPC. Вызов любого из вышеперечисленных методов будет блокирующим до завершения RPC и получения результата.

Экземпляр класса StatusOrResult со следующими доступными методами.

is_ok(): Возвращает True, если RPC успешно выполнено.
get_error(): Возвращает код ошибки TF и сообщение об ошибке для RPC.
get_value(): Возвращает возвращаемое значение из выполнения удалённой TF функции при успешном RPC.

Вызов любого из вышеперечисленных методов будет блокирующим до завершения RPC и получения результата.

`create`

Просмотреть исходный код

@staticmethod
create(
    rpc_layer, address, name='', timeout_in_ms=0
)

Создать клиент TF RPC для подключения к указанному адресу.

Аргументы
`rpc_layer`	Слой связи между клиентом и сервером. В настоящий момент поддерживается только слой rpc "grpc".
`address`	Адрес сервера для подключения клиента RPC.
`name`	Имя клиента RPC. Можно создавать несколько клиентов, подключающихся к одному серверу, и различать их с помощью разных имён.
`timeout_in_ms`	Значение таймаута по умолчанию для исходящих RPC от клиента. 0 означает отсутствие таймаута. Превышение таймаута во время RPC приведёт к ошибке DeadlineExceeded.

Возвращает

Возвращает
Экземпляр `tf.distribute.experimental.rpc.Client` со следующими динамически добавленными методами для клиентов, созданных в режиме eager: `Registered methods` например, multiply(args): Если клиент создаётся при выполнении в режиме eager, клиент запросит список зарегистрированных методов от сервера во время создания клиента. Удобные методы для RPC будут динамически добавлены к созданному экземпляру клиента. Например, когда сервер имеет зарегистрированный метод "multiply", созданный в режиме eager объект клиента будет иметь доступный метод 'multiply'. Пользователи могут использовать client.multiply(...) для выполнения RPC, вместо client.call("multiply", ...) Методы "call" и "multiply" неблокирующие, т.е. они возвращают объект StatusOrResult, который должен использоваться для ожидания получения значения или ошибки. В дополнение к вышесказанному, к экземпляру клиента также динамически добавляются блокирующие версии зарегистрированных методов, например, multiply_blocking(args). Эти методы блокируют выполнение, пока RPC не завершится, и возвращают ответ при успешном RPC. В противном случае возникает исключение. Эти методы недоступны, когда клиент создаётся внутри tf.function.

Экземпляр tf.distribute.experimental.rpc.Client со следующими динамически добавленными методами для клиентов, созданных в режиме eager:

Registered methods например, multiply(**args): Если клиент создаётся при выполнении в режиме eager, клиент запросит список зарегистрированных методов от сервера во время создания клиента. Удобные методы для RPC будут динамически добавлены к созданному экземпляру клиента.

Например, когда сервер имеет зарегистрированный метод "multiply", созданный в режиме eager объект клиента будет иметь доступный метод 'multiply'. Пользователи могут использовать client.multiply(...) для выполнения RPC, вместо client.call("multiply", ...)

Методы "call" и "multiply" неблокирующие, т.е. они возвращают объект StatusOrResult, который должен использоваться для ожидания получения значения или ошибки.

В дополнение к вышесказанному, к экземпляру клиента также динамически добавляются блокирующие версии зарегистрированных методов, например, multiply_blocking(**args). Эти методы блокируют выполнение, пока RPC не завершится, и возвращают ответ при успешном RPC. В противном случае возникает исключение.

Эти методы недоступны, когда клиент создаётся внутри tf.function.

Исключения
ValueError, если используется rpc_layer, отличная от "grpc". В настоящий момент поддерживается только GRPC. Исключение DeadlineExceeded в режиме eager, если таймаут превышен при создании и перечислении методов клиента.

Пример использования
>>> # Have server already started. >>> import portpicker >>> @tf.function(input_signature=[ ... tf.TensorSpec([], tf.int32), ... tf.TensorSpec([], tf.int32)]) ... def remote_fn(a, b): ... return tf.add(a, b) port = portpicker.pick_unused_port() address = "localhost:{}".format(port) server = tf.distribute.experimental.rpc.Server.create("grpc", address) server.register("addition", remote_fn) server.start() # Start client client = tf.distribute.experimental.rpc.Client.create("grpc", address=address, name="test_client") a = tf.constant(2, dtype=tf.int32) b = tf.constant(3, dtype=tf.int32) result = client.call( args=[a, b], method_name="addition", output_specs=tf.TensorSpec((), tf.int32)) if result.is_ok(): result.get_value() result = client.addition(a, b) if result.is_ok(): result.get_value() value = client.addition_blocking(a, b)

Пример использования

>>> # Have server already started.
>>> import portpicker
>>> @tf.function(input_signature=[
...      tf.TensorSpec([], tf.int32),
...      tf.TensorSpec([], tf.int32)])
... def remote_fn(a, b):
...   return tf.add(a, b)

port = portpicker.pick_unused_port()
address = "localhost:{}".format(port)
server = tf.distribute.experimental.rpc.Server.create("grpc", address)
server.register("addition", remote_fn)
server.start()

# Start client
client = tf.distribute.experimental.rpc.Client.create("grpc",
     address=address, name="test_client")

a = tf.constant(2, dtype=tf.int32)
b = tf.constant(3, dtype=tf.int32)

result = client.call(
   args=[a, b],
   method_name="addition",
   output_specs=tf.TensorSpec((), tf.int32))

if result.is_ok():
  result.get_value()

result = client.addition(a, b)

if result.is_ok():
  result.get_value()

value = client.addition_blocking(a, b)

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/distribute/experimental/rpc/Client