tf.config.experimental_connect_to_cluster

Подключается к указанному кластеру.

tf.config.experimental_connect_to_cluster(
    cluster_spec_or_resolver,
    job_name='localhost',
    task_index=0,
    protocol=None,
    make_master_device_default=True,
    cluster_device_filters=None
)

Используется в ноутбуках

Сделает устройства в кластере доступными для использования. Обратите внимание, что вызов этого более одного раза будет работать, но приведет к аннулированию любых дескрипторов тензоров на старых удаленных устройствах.

Если указанное локальное имя задачи отсутствует в спецификации кластера, оно будет автоматически добавлено, используя неиспользуемый порт на localhost.

Можно указать фильтры устройств, чтобы изолировать группы удаленных задач и избежать нежелательных обращений между рабочими узлами. Рабочие узлы, которые обращаются к ресурсам или запускают операции/функции на отфильтрованных удаленных устройствах, получат ошибки (неизвестные устройства). Для любой удалённой задачи, если нет фильтра устройств, все устройства кластера будут видны; если указан какой-либо фильтр устройств, он сможет видеть только устройства, соответствующие хотя бы одному фильтру. Устройства на самой задаче всегда видны. Фильтры устройств можно указывать частично.

Например, для кластера, настроенного для обучения с параметрами сервера, могут быть указаны следующие фильтры устройств:

cdf = tf.config.experimental.ClusterDeviceFilters()
# For any worker, only the devices on PS nodes and itself are visible
for i in range(num_workers):
  cdf.set_device_filters('worker', i, ['/job:ps'])
# Similarly for any ps, only the devices on workers and itself are visible
for i in range(num_ps):
  cdf.set_device_filters('ps', i, ['/job:worker'])

tf.config.experimental_connect_to_cluster(cluster_def,
                                          cluster_device_filters=cdf)