tf.config.experimental_connect_to_cluster

Подключается к указанному кластеру.

tf.config.experimental_connect_to_cluster(
    cluster_spec_or_resolver,
    job_name='localhost',
    task_index=0,
    protocol=None,
    make_master_device_default=True,
    cluster_device_filters=None
)

Используется в блокнотах

Делает устройства в кластере доступными для использования. Обратите внимание: вызов этой функции несколько раз допустим, но при этом все дескрипторы тензоров на старых удалённых устройствах станут недействительными.

Если указанное имя локального задания отсутствует в спецификации кластера, оно будет добавлено автоматически с использованием свободного порта на localhost.

Для изоляции групп удалённых задач и предотвращения нежелательного доступа между рабочими процессами можно указать фильтры устройств. Рабочие процессы, обращающиеся к ресурсам или запускающие операции / функции на удалённых устройствах, отфильтрованных таким образом, получат ошибки (неизвестные устройства). Для любой удалённой задачи, если фильтр устройств не задан, будут видны все устройства кластера; если задан хотя бы один фильтр, будут видны только устройства, соответствующие как минимум одному фильтру. Устройства самой задачи всегда видны. Фильтры устройств можно указывать частично.

Например, для кластера, настроенного для обучения с сервером параметров, можно указать следующие фильтры устройств:

cdf = tf.config.experimental.ClusterDeviceFilters()
# For any worker, only the devices on PS nodes and itself are visible
for i in range(num_workers):
  cdf.set_device_filters('worker', i, ['/job:ps'])
# Similarly for any ps, only the devices on workers and itself are visible
for i in range(num_ps):
  cdf.set_device_filters('ps', i, ['/job:worker'])

tf.config.experimental_connect_to_cluster(cluster_def,
                                          cluster_device_filters=cdf)