Spec-Zone.ru › TensorFlow 2.3

tf.distribute.cluster_resolver.TFConfigClusterResolver

Просмотреть исходный код на GitHub

Реализация ClusterResolver, которая считывает переменную окружения TF_CONFIG.

Наследуется от: ClusterResolver

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения дополнительной информации.

tf.compat.v1.distribute.cluster_resolver.TFConfigClusterResolver

tf.distribute.cluster_resolver.TFConfigClusterResolver(
    task_type=None, task_id=None, rpc_layer=None, environment=None
)

Это реализация решателей кластеров при использовании TF_CONFIG для установки информации о кластере. Спецификация кластера будет инициализирована из переменной окружения TF_CONFIG.

Пример установки TF_CONFIG:

os.environ['TF_CONFIG'] = json.dumps({
  'cluster': {
      'worker': ["localhost:12345", "localhost:23456"]
  },
  'task': {'type': 'worker', 'index': 0}
})

Однако иногда фреймворк оркестрации контейнеров устанавливает TF_CONFIG за вас. В этом случае вы можете просто создать экземпляр без передачи каких-либо аргументов. Пример, как Kubernetes устанавливает TF_CONFIG за вас, можно найти здесь: https://github.com/tensorflow/ecosystem/tree/master/kubernetes. Затем вы можете использовать его с tf.distribute.Strategy следующим образом:

# `TFConfigClusterResolver` is already the default one in the following
# strategy.
strategy = tf.distribute.experimental.MultiWorkerMirroredStrategy(
    cluster_resolver=TFConfigClusterResolver())
Аргументы
task_type (Строка, необязательно) Переопределяет тип задачи, указанный в переменной окружения TF_CONFIG.
task_id (Целое число, необязательно) Переопределяет индекс задачи, указанный в переменной окружения TF_CONFIG.
rpc_layer (Строка, необязательно) Переопределяет уровень RPC, используемый TensorFlow.
environment (Строка, необязательно) Переопределяет среду, в которой работает TensorFlow.
Атрибуты
environment Возвращает текущую среду, в которой работает TensorFlow.

Возможны два значения возврата: «google» (когда TensorFlow работает во внутренней среде Google) или пустая строка (когда TensorFlow работает где-то еще).

Если вы реализуете ClusterResolver, который работает как в среде Google, так и в открытом исходном коде (например, TPU ClusterResolver или аналогичный), вам нужно будет вернуть соответствующую строку в зависимости от среды, которую вам нужно будет определить.

В противном случае, если вы реализуете ClusterResolver, который будет работать только в TensorFlow с открытым исходным кодом, вам не нужно реализовывать этот свойство.

rpc_layer
task_id Возвращает идентификатор задачи, который этот ClusterResolver указывает.

В распределенной среде TensorFlow каждая работа может иметь применимый идентификатор задачи, который представляет собой индекс экземпляра в рамках его типа задачи. Это полезно, когда пользователю нужно выполнить определенный код в соответствии с индексом задачи. Например,

cluster_spec = tf.train.ClusterSpec({
"ps": ["localhost:2222", "localhost:2223"],
"worker": ["localhost:2224", "localhost:2225", "localhost:2226"]
})

# SimpleClusterResolver is used here for illustration; other cluster
# resolvers may be used for other source of task type/id.
simple_resolver = SimpleClusterResolver(cluster_spec, task_type="worker",
task_id=0)

...

if cluster_resolver.task_type == 'worker' and cluster_resolver.task_id == 0:
# Perform something that's only applicable on 'worker' type, id 0. This
# block will run on this particular instance since we've specified this
# task to be a 'worker', id 0 in above cluster resolver.
else:
# Perform something that's only applicable on other ids. This block will
# not run on this particular instance.

Возвращает None если такая информация недоступна или неприменима в текущей распределенной среде, например, при обучении с помощью tf.distribute.cluster_resolver.TPUClusterResolver.

Для получения дополнительной информации см. строку документации класса tf.distribute.cluster_resolver.ClusterResolver.

task_type Возвращает тип задачи, который этот ClusterResolver указывает.

В распределенной среде TensorFlow каждая работа может иметь применимый тип задачи. Действительные типы задач в TensorFlow включают «chief» (ведущий): рабочий, которому поручено больше ответственности, «worker» (рабочий): обычный рабочий для обучения/оценивания, «ps» (параметр-сервер): сервер параметров или «evaluator» (оценщик): оценщик, который оценивает контрольные точки для метрик.

См. Конфигурацию многопроцессорных задач для получения дополнительной информации о типах задач «chief» и «worker», которые чаще всего используются.

Доступ к такой информации полезен, когда пользователю нужно выполнить определенный код в соответствии с типами задач. Например,

cluster_spec = tf.train.ClusterSpec({
"ps": ["localhost:2222", "localhost:2223"],
"worker": ["localhost:2224", "localhost:2225", "localhost:2226"]
})

# SimpleClusterResolver is used here for illustration; other cluster
# resolvers may be used for other source of task type/id.
simple_resolver = SimpleClusterResolver(cluster_spec, task_type="worker",
task_id=1)

...

if cluster_resolver.task_type == 'worker':
# Perform something that's only applicable on workers. This block
# will run on this particular instance since we've specified this task to
# be a worker in above cluster resolver.
elif cluster_resolver.task_type == 'ps':
# Perform something that's only applicable on parameter servers. This
# block will not run on this particular instance.

Возвращает None если такая информация недоступна или неприменима в текущей распределенной среде, например, при обучении с помощью tf.distribute.experimental.TPUStrategy.

Для получения дополнительной информации см. документацию класса tf.distribute.cluster_resolver.ClusterResolver.

Методы

cluster_spec

Просмотреть исходный код

cluster_spec()

Возвращает ClusterSpec на основе переменной окружения TF_CONFIG.

Возвращает
ClusterSpec с информацией из переменной окружения TF_CONFIG.

master

Просмотреть исходный код

master(
    task_type=None, task_id=None, rpc_layer=None
)

Возвращает адрес узла-мастера для использования при создании сеанса TensorFlow.

Примечание: это полезно только для TensorFlow 1.x.
Аргументы
task_type (Строка, необязательно) Переопределяет и устанавливает тип задачи узла-мастера.
task_id (Целое число, необязательно) Переопределяет и устанавливает идентификатор задачи узла-мастера.
rpc_layer (Строка, необязательно) Переопределяет и устанавливает протокол, по которому узлы TensorFlow общаются друг с другом.
Возвращает
Адрес узла-мастера.
Возможные исключения
RuntimeError Если тип задачи или идентификатор задачи не указаны, и переменная окружения TF_CONFIG не содержит раздела task.

num_accelerators

Просмотреть исходный код

num_accelerators(
    task_type=None, task_id=None, config_proto=None
)

Возвращает количество ускорителей на ядро рабочего узла.

Это возвращает количество ускорителей (таких как GPU и TPU) на рабочий узел.

Мы также позволяем вызывающим сторонам указать тип и идентификатор задачи, чтобы нацелиться на определенную задачу TensorFlow для запроса количества ускорителей. Это позволяет поддерживать гетерогенные среды, где количество ускорителей на хост различается.

Аргументы
task_type (Необязательно) Тип задачи TensorFlow машины, которую нужно запросить.
task_id (Необязательно) Индекс задачи TensorFlow машины, которую нужно запросить.
config_proto (Необязательно) Конфигурация для запуска нового сеанса, чтобы запросить количество ускорителей.
Возвращает
Словарь типов ускорителей и количества ядер.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/distribute/cluster_resolver/TFConfigClusterResolver

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API