tf.config.experimental_connect_to_cluster

Подключается к заданному кластеру.

tf.config.experimental_connect_to_cluster(
    cluster_spec_or_resolver, job_name='localhost', task_index=0, protocol=None,
    make_master_device_default=True, cluster_device_filters=None
)

Сделает устройства в кластере доступными для использования. Обратите внимание, что вызов этого более одного раза будет работать, но приведет к аннулированию всех дескрипторов тензоров на старых удалённых устройствах.

Если заданное имя локальной работы отсутствует в спецификации кластера, оно будет автоматически добавлено, используя неиспользуемый порт на локальном хосте.

Можно указать фильтры устройств, чтобы изолировать группы удалённых задач, чтобы избежать нежелательных доступов между рабочими узлами. Рабочие узлы, обращающиеся к ресурсам или запускающие операции/функции на отфильтрованных удалённых устройствах, приведут к ошибкам (неизвестные устройства). Для любой удалённой задачи, если нет фильтра устройства, все устройства кластера будут видны; если указан любой фильтр устройства, он может видеть только устройства, соответствующие хотя бы одному фильтру. Устройства на самой задаче всегда видны. Фильтры устройств могут быть частично указаны.

Например, для кластера, настроенного для обучения с параметрическим сервером, могут быть указаны следующие фильтры устройств:

cdf = tf.config.experimental.ClusterDeviceFilters()
# For any worker, only the devices on PS nodes and itself are visible
for i in range(num_workers):
  cdf.set_device_filters('worker', i, ['/job:ps'])
# Similarly for any ps, only the devices on workers and itself are visible
for i in range(num_ps):
  cdf.set_device_filters('ps', i, ['/job:worker'])

tf.config.experimental_connect_to_cluster(cluster_def,
                                          cluster_device_filters=cdf)