tf.distribute.cluster_resolver.ClusterResolver

Абстрактный класс для всех реализаций ClusterResolvers.

Просмотр псевдонимов

Основные псевдонимы

`tf.contrib.cluster_resolver.ClusterResolver`

Псевдонимы совместимости для миграции

См. руководство по миграции для получения дополнительной информации.

tf.compat.v1.distribute.cluster_resolver.ClusterResolver, `tf.compat.v2.distribute.cluster_resolver.ClusterResolver`

Это определяет каркас для всех реализаций ClusterResolvers. ClusterResolvers — это способ, с помощью которого TensorFlow взаимодействует с различными системами управления кластерами (например, GCE, AWS и т. д.).

Разрешая TensorFlow взаимодействовать с этими системами, мы сможем автоматически обнаруживать и разрешать IP-адреса для различных рабочих узлов TensorFlow. В конечном счете это позволит нам автоматически восстанавливаться после сбоев базовых машин и масштабировать кластеры рабочих узлов TensorFlow вверх и вниз.

Примечание для разработчиков: помимо этих абстрактных методов, вы также должны реализовать атрибуты task_type, task_id и rpc_layer. Вы можете реализовать их либо в виде свойств с методами доступа или записи, либо непосредственно установить атрибуты.

task_type — это имя текущей именованной задачи сервера (например, 'worker', 'ps' в распределенной задаче параметрического обучения).
task_id — это порядковый индекс сервера в типе задачи.
rpc_layer — это протокол, используемый TensorFlow для взаимодействия с другими серверами TensorFlow в распределённой среде.

Атрибуты

Атрибуты
`environment`	Возвращает текущую среду, в которой выполняется TensorFlow. Возможны два значения возврата: «google» (когда TensorFlow выполняется во внутренней среде Google) или пустая строка (когда TensorFlow выполняется в другом месте). Если вы реализуете ClusterResolver, который работает как в среде Google, так и в открытом исходном коде (например, TPU ClusterResolver или аналогичный), вам необходимо вернуть соответствующую строку в зависимости от среды, которую вам нужно будет определить. В противном случае, если вы реализуете ClusterResolver, который будет работать только в TensorFlow с открытым исходным кодом, вам не нужно реализовывать это свойство.

environment

Возвращает текущую среду, в которой выполняется TensorFlow.

Возможны два значения возврата: «google» (когда TensorFlow выполняется во внутренней среде Google) или пустая строка (когда TensorFlow выполняется в другом месте).

Если вы реализуете ClusterResolver, который работает как в среде Google, так и в открытом исходном коде (например, TPU ClusterResolver или аналогичный), вам необходимо вернуть соответствующую строку в зависимости от среды, которую вам нужно будет определить.

В противном случае, если вы реализуете ClusterResolver, который будет работать только в TensorFlow с открытым исходным кодом, вам не нужно реализовывать это свойство.

Методы

`cluster_spec`

Просмотреть исходный код

@abc.abstractmethod
cluster_spec()

Получите текущее состояние кластера и верните ClusterSpec.

Возвращает
ClusterSpec, представляющий состояние кластера на момент вызова этой функции.

Реализаторы этой функции должны позаботиться о том, чтобы возвращаемая ClusterSpec была актуальной на момент вызова функции. Обычно это подразумевает получение информации из базовой системы управления кластером каждый раз при вызове функции и реконструирование cluster_spec, а не попытку кэширования чего-либо.

`master`

Просмотреть исходный код

@abc.abstractmethod
master(
    task_type=None, task_id=None, rpc_layer=None
)

Получает имя или URL сеанса мастера.

Аргументы
`task_type`	(Необязательно) Тип задачи TensorFlow мастера.
`task_id`	(Необязательно) Индекс задачи TensorFlow мастера.
`rpc_layer`	(Необязательно) Протокол RPC для данного кластера.

Возвращает
Имя или URL сеанса мастера.

Реализаторы этой функции должны позаботиться о том, чтобы возвращаемый мастер был актуальным на момент вызова функции. Обычно это подразумевает получение мастера каждый раз при вызове функции.

`num_accelerators`

Просмотреть исходный код

num_accelerators(
    task_type=None, task_id=None, config_proto=None
)

Возвращает количество ускорителей ядер на рабочий узел.

Это возвращает количество ускорителей ядер (например, GPU и TPU) на рабочий узел.

По желанию, мы позволяем вызывающим сторонам указывать task_type и task_id, если они хотят нацелить запрос на конкретный процесс TensorFlow для запроса количества ускорителей. Это необходимо для поддержки гетерогенных сред, где количество ускорителей ядер на хосте отличается.

Аргументы
`task_type`	(Необязательно) Тип задачи TensorFlow машины, которую мы хотим запросить.
`task_id`	(Необязательно) Индекс задачи TensorFlow машины, которую мы хотим запросить.
`config_proto`	(Необязательно) Настройки для запуска нового сеанса для запроса количества ускорителей ядер.

Возвращает
Карта типов ускорителей к количеству ядер.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/distribute/cluster_resolver/ClusterResolver