Spec-Zone.ru › TensorFlow 2.3

tf.distribute.cluster_resolver.ClusterResolver

Просмотреть исходный код на GitHub

Абстрактный класс для всех реализаций ClusterResolvers.

Псевдонимы

Псевдонимы для миграции

См. Руководство по миграции для получения более подробной информации.

tf.compat.v1.distribute.cluster_resolver.ClusterResolver

Этот класс определяет каркас для всех реализаций ClusterResolvers. ClusterResolvers — это способ, которым TensorFlow взаимодействует с различными системами управления кластерами (например, GCE, AWS и т. д.) и предоставляет TensorFlow необходимую информацию для настройки распределенного обучения.

Благодаря возможности взаимодействия TensorFlow с этими системами, мы сможем автоматически обнаруживать и разрешать IP-адреса для различных рабочих процессов TensorFlow. В конечном счёте это позволит нам автоматически восстанавливаться после отказов подлежащих машин и масштабировать кластеры рабочих процессов TensorFlow вверх и вниз.

Примечание для разработчиков подклассов tf.distribute.cluster_resolver.ClusterResolver: помимо этих абстрактных методов, когда атрибуты task_type, task_id и rpc_layer применимы, вы должны также реализовать их либо в качестве свойств с геттерами или сеттерами, либо напрямую установить атрибуты self._task_type, self._task_id, или self._rpc_layer, чтобы использовались геттеры и сеттеры базового класса. См. tf.distribute.clusterresolver.SimpleClusterResolver.init_ для примера.

В общем случае многоклиентские стратегии tf.distribute, такие как tf.distribute.experimental.MultiWorkerMirroredStrategy, требуют наличия свойств task_type и task_id в ClusterResolver , которые они используют. С другой стороны, эти понятия неприменимы в стратегиях с одним клиентом, таких как tf.distribute.experimental.TPUStrategy, поскольку ожидается, что программа будет запущена только на одной задаче, поэтому не должно быть необходимости в ветвлении кода в зависимости от типа задачи и идентификатора задачи.

  • task_type — это имя текущей именованной задачи сервера (например, 'worker', 'ps' в распределённой задаче параметризованного обучения).
  • task_id — порядковый индекс сервера в рамках типа задачи.
  • rpc_layer — протокол, используемый TensorFlow для взаимодействия с другими серверами TensorFlow в распределённой среде.
Атрибуты
environment Возвращает текущую среду, в которой выполняется TensorFlow.

Возможны два значения возврата: «google» (когда TensorFlow выполняется во внутренней среде Google) или пустая строка (когда TensorFlow выполняется где-то ещё).

Если вы реализуете ClusterResolver, который работает как в среде Google, так и в открытом исходном коде (например, TPU ClusterResolver или аналогичный), вам нужно будет вернуть соответствующую строку в зависимости от среды, которую вам нужно будет определить.

В противном случае, если вы реализуете ClusterResolver, который будет работать только в TensorFlow с открытым исходным кодом, вам не нужно реализовывать это свойство.

task_id Возвращает идентификатор задачи, указанный этим ClusterResolver.

В распределённой среде TensorFlow каждая задача может иметь соответствующий идентификатор задачи, который является индексом экземпляра в рамках его типа задачи. Это полезно, когда пользователю необходимо выполнить определённый код в зависимости от индекса задачи. Например,

cluster_spec = tf.train.ClusterSpec({
"ps": ["localhost:2222", "localhost:2223"],
"worker": ["localhost:2224", "localhost:2225", "localhost:2226"]
})

# SimpleClusterResolver is used here for illustration; other cluster
# resolvers may be used for other source of task type/id.
simple_resolver = SimpleClusterResolver(cluster_spec, task_type="worker",
task_id=0)

...

if cluster_resolver.task_type == 'worker' and cluster_resolver.task_id == 0:
# Perform something that's only applicable on 'worker' type, id 0. This
# block will run on this particular instance since we've specified this
# task to be a 'worker', id 0 in above cluster resolver.
else:
# Perform something that's only applicable on other ids. This block will
# not run on this particular instance.

Возвращает None , если такая информация недоступна или неприменима в текущей распределённой среде, например, при обучении с помощью tf.distribute.cluster_resolver.TPUClusterResolver.

Для получения дополнительной информации см. документацию к классу tf.distribute.cluster_resolver.ClusterResolver.

task_type Возвращает тип задачи, указанный этим ClusterResolver.

В распределённой среде TensorFlow каждая задача может иметь соответствующий тип задачи. Допустимые типы задач в TensorFlow включают 'chief': рабочий процесс, которому поручена большая ответственность, 'worker': обычный рабочий процесс для обучения/оценки, 'ps': параметрический сервер или 'evaluator': оценщик, который оценивает контрольные точки по метрикам.

См. Настройка многозадачного режима для получения более подробной информации о типах задач 'chief' и 'worker', которые наиболее часто используются.

Доступ к такой информации полезен, когда пользователю необходимо выполнить определённый код в зависимости от типа задачи. Например,

cluster_spec = tf.train.ClusterSpec({
"ps": ["localhost:2222", "localhost:2223"],
"worker": ["localhost:2224", "localhost:2225", "localhost:2226"]
})

# SimpleClusterResolver is used here for illustration; other cluster
# resolvers may be used for other source of task type/id.
simple_resolver = SimpleClusterResolver(cluster_spec, task_type="worker",
task_id=1)

...

if cluster_resolver.task_type == 'worker':
# Perform something that's only applicable on workers. This block
# will run on this particular instance since we've specified this task to
# be a worker in above cluster resolver.
elif cluster_resolver.task_type == 'ps':
# Perform something that's only applicable on parameter servers. This
# block will not run on this particular instance.

Возвращает None , если такая информация недоступна или неприменима в текущей распределённой среде, например, при обучении с помощью tf.distribute.experimental.TPUStrategy.

Для получения дополнительной информации см. документацию к классу tf.distribute.cluster_resolver.ClusterResolver.

Методы

cluster_spec

Просмотреть исходный код

@abc.abstractmethod
cluster_spec()

Получает текущее состояние кластера и возвращает tf.train.ClusterSpec.

Возвращаемое значение
tf.train.ClusterSpec , представляющий состояние кластера на момент вызова этой функции.

Разработчики этой функции должны позаботиться о том, чтобы возвращаемый ClusterSpec был актуальным на момент вызова этой функции. Это обычно означает извлечение информации из подлежащей системы управления кластером каждый раз при вызове этой функции и построение cluster_spec, а не попытку кэширования чего-либо.

master

Просмотреть исходный код

@abc.abstractmethod
master(
    task_type=None, task_id=None, rpc_layer=None
)

Получает имя или URL сессионного мастера.

Примечание: это полезно только для TensorFlow 1.x.
Аргументы
task_type (Необязательно) Тип задачи TensorFlow мастера.
task_id (Необязательно) Индекс задачи TensorFlow мастера.
rpc_layer (Необязательно) Протокол RPC для данного кластера.
Возвращаемое значение
Имя или URL сессионного мастера.

Разработчики этой функции должны позаботиться о том, чтобы возвращаемый мастер был актуальным на момент вызова этой функции. Это обычно означает извлечение мастера каждый раз при вызове этой функции.

num_accelerators

Просмотреть исходный код

num_accelerators(
    task_type=None, task_id=None, config_proto=None
)

Возвращает количество ускорительных ядер на рабочий процесс.

Это возвращает количество ускорительных ядер (например, GPU и TPU) на рабочий процесс.

Мы также позволяем вызывающим сторонам указывать task_type и task_id, если они хотят нацелиться на конкретную задачу TensorFlow для запроса количества ускорительных ядер. Это поддерживает гетерогенные среды, где количество ускорительных ядер на хост различно.

Аргументы
task_type (Необязательно) Тип задачи TensorFlow машины, которую мы хотим запросить.
task_id (Необязательно) Индекс задачи TensorFlow машины, которую мы хотим запросить.
config_proto (Необязательно) Настройка для запуска новой сессии для запроса количества ускорительных ядер.
Возвращаемое значение
Карта типов ускорителей и количества ядер.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/distribute/cluster_resolver/ClusterResolver

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API