tf.config.experimental_connect_to_cluster

Подключается к заданному кластеру.

tf.config.experimental_connect_to_cluster(
    cluster_spec_or_resolver, job_name='localhost', task_index=0,
    protocol=None, make_master_device_default=True, cluster_device_filters=None
)

Сделает устройства в кластере доступными для использования. Обратите внимание, что вызов этого более одного раза будет работать, но аннулирует все дескрипторы тензоров на старых удалённых устройствах.

Если указанное имя локальной задачи отсутствует в спецификации кластера, оно будет автоматически добавлено с использованием неиспользуемого порта на локальном хосте.

Можно указать фильтры устройств, чтобы изолировать группы удалённых задач, чтобы избежать нежелательных обращений между рабочими узлами. Рабочие узлы, обращающиеся к ресурсам или запускающие операции/функции на отфильтрованных удалённых устройствах, приведут к ошибкам (неизвестные устройства). Для любой удалённой задачи, если фильтр устройств отсутствует, все устройства кластера будут видны; если указан любой фильтр устройств, он может видеть только устройства, соответствующие хотя бы одному фильтру. Устройства на самой задаче всегда видны. Фильтры устройств могут быть частично указаны.

Например, для кластера, настроенного для обучения параметрического сервера, могут быть указаны следующие фильтры устройств:

cdf = tf.config.experimental.ClusterDeviceFilters()
# For any worker, only the devices on PS nodes and itself are visible
for i in range(num_workers):
  cdf.set_device_filters('worker', i, ['/job:ps'])
# Similarly for any ps, only the devices on workers and itself are visible
for i in range(num_ps):
  cdf.set_device_filters('ps', i, ['/job:worker'])

tf.config.experimental_connect_to_cluster(cluster_def,
                                          cluster_device_filters=cdf)