Spec-Zone.ru › TensorFlow

tf.distribute.cluster_resolver.TFConfigClusterResolver

Реализация ClusterResolver, считывающего переменную окружения TF_CONFIG.

Наследуется от: ClusterResolver

Просмотреть псевдонимы

Псевдонимы совместимости для миграции

Подробнее см. в руководстве по миграции.

tf.compat.v1.distribute.cluster_resolver.TFConfigClusterResolver

tf.distribute.cluster_resolver.TFConfigClusterResolver(
    task_type=None, task_id=None, rpc_layer=None, environment=None
)

Используется в блокнотах

Используется в руководстве
  • Миграция обучения на нескольких рабочих узлах с CPU/GPU

Эта реализация средства разрешения кластеров используется при настройке сведений о кластере с помощью TF_CONFIG. Возвращаемая спецификация кластера инициализируется из переменной окружения TF_CONFIG.

Пример настройки TF_CONFIG:

os.environ['TF_CONFIG'] = json.dumps({
  'cluster': {
      'worker': ["localhost:12345", "localhost:23456"]
  },
  'task': {'type': 'worker', 'index': 0}
})

Однако иногда платформа оркестрации контейнеров задаёт TF_CONFIG за вас. В этом случае можно создать экземпляр, не передавая аргументы. Пример настройки TF_CONFIG с помощью Kuburnetes см. здесь: https://github.com/tensorflow/ecosystem/tree/master/kubernetes. Затем его можно использовать с tf.distribute.Strategy следующим образом:

# `TFConfigClusterResolver` is already the default one in the following
# strategy.
strategy = tf.distribute.experimental.MultiWorkerMirroredStrategy(
    cluster_resolver=TFConfigClusterResolver())
Аргументы
task_type (Строка, необязательно) Переопределяет тип задачи, указанный в переменной окружения TF_CONFIG.
task_id (Целое число, необязательно) Переопределяет индекс задачи, указанный в переменной окружения TF_CONFIG.
rpc_layer (Строка, необязательно) Переопределяет уровень RPC, используемый TensorFlow.
environment (Строка, необязательно) Переопределяет среду, в которой работает TensorFlow.
Атрибуты
environment Возвращает текущую среду, в которой работает TensorFlow.

Возможны два значения: "google" (если TensorFlow работает во внутренней среде Google) или пустая строка (если TensorFlow работает в другой среде).

Если вы реализуете ClusterResolver, работающий как в среде Google, так и в мире открытого исходного кода (например, ClusterResolver для TPU или аналогичный), необходимо возвращать соответствующую строку в зависимости от среды, которую потребуется определить.

В противном случае, если ClusterResolver предназначен только для TensorFlow с открытым исходным кодом, реализовывать это свойство не нужно.

rpc_layer
task_id Возвращает идентификатор задачи, обозначенной этим ClusterResolver.

В распределённой среде TensorFlow для каждой задачи может быть задан идентификатор — индекс экземпляра в рамках её типа задачи. Это полезно, когда нужно выполнять определённый код в зависимости от индекса задачи. Например:

cluster_spec = tf.train.ClusterSpec({
    "ps": ["localhost:2222", "localhost:2223"],
    "worker": ["localhost:2224", "localhost:2225", "localhost:2226"]
})

# SimpleClusterResolver is used here for illustration; other cluster
# resolvers may be used for other source of task type/id.
simple_resolver = SimpleClusterResolver(cluster_spec, task_type="worker",
                                        task_id=0)

...

if cluster_resolver.task_type == 'worker' and cluster_resolver.task_id == 0:
  # Perform something that's only applicable on 'worker' type, id 0. This
  # block will run on this particular instance since we've specified this
  # task to be a 'worker', id 0 in above cluster resolver.
else:
  # Perform something that's only applicable on other ids. This block will
  # not run on this particular instance.

Возвращает None, если эти сведения недоступны или неприменимы в текущей распределённой среде, например при обучении с использованием tf.distribute.cluster_resolver.TPUClusterResolver.

Дополнительные сведения см. в описании класса tf.distribute.cluster_resolver.ClusterResolver.

task_type Возвращает тип задачи, обозначенной этим ClusterResolver.

В распределённой среде TensorFlow для каждой задачи может быть задан тип. Допустимые типы задач в TensorFlow: 'chief' — рабочий узел с дополнительными обязанностями; 'worker' — обычный рабочий узел для обучения или оценки; 'ps' — сервер параметров; 'evaluator' — узел для оценки контрольных точек и вычисления метрик.

Подробнее о типах задач 'chief' и 'worker', которые используются чаще всего, см. в разделе Конфигурация нескольких рабочих узлов.

Доступ к этим сведениям полезен, когда нужно выполнять определённый код в зависимости от типа задачи. Например:

cluster_spec = tf.train.ClusterSpec({
    "ps": ["localhost:2222", "localhost:2223"],
    "worker": ["localhost:2224", "localhost:2225", "localhost:2226"]
})

# SimpleClusterResolver is used here for illustration; other cluster
# resolvers may be used for other source of task type/id.
simple_resolver = SimpleClusterResolver(cluster_spec, task_type="worker",
                                        task_id=1)

...

if cluster_resolver.task_type == 'worker':
  # Perform something that's only applicable on workers. This block
  # will run on this particular instance since we've specified this task to
  # be a worker in above cluster resolver.
elif cluster_resolver.task_type == 'ps':
  # Perform something that's only applicable on parameter servers. This
  # block will not run on this particular instance.

Возвращает None, если эти сведения недоступны или неприменимы в текущей распределённой среде, например при обучении с использованием tf.distribute.experimental.TPUStrategy.

Дополнительные сведения см. в описании класса tf.distribute.cluster_resolver.ClusterResolver.

Методы

cluster_spec

Посмотреть исходный код

cluster_spec()

Возвращает ClusterSpec на основе переменной окружения TF_CONFIG.

Возвращаемое значение
ClusterSpec со сведениями из переменной окружения TF_CONFIG.

master

Посмотреть исходный код

master(
    task_type=None, task_id=None, rpc_layer=None
)

Возвращает адрес главного узла, используемый при создании сеанса TensorFlow.

Примечание: это полезно только для TensorFlow 1.x.
Аргументы
task_type (Строка, необязательно) Переопределяет и задаёт task_type главного узла.
task_id (Целое число, необязательно) Переопределяет и задаёт идентификатор задачи главного узла.
rpc_layer (Строка, необязательно) Переопределяет и задаёт протокол, по которому узлы TensorFlow взаимодействуют друг с другом.
Возвращаемое значение
Адрес главного узла.
Исключения
RuntimeError Если task_type или task_id не указаны, а переменная окружения TF_CONFIG не содержит раздел задачи.

num_accelerators

Посмотреть исходный код

num_accelerators(
    task_type=None, task_id=None, config_proto=None
)

Возвращает количество ядер ускорителей на рабочий узел.

Возвращает количество доступных ядер ускорителей (например, GPU и TPU) на каждом рабочем узле.

При необходимости вызывающие стороны могут указать task_type и task_id, чтобы запросить количество ускорителей для конкретной задачи TensorFlow. Это позволяет поддерживать неоднородные среды, в которых количество ядер ускорителей на узел различается.

Аргументы
task_type (Необязательно) Тип задачи TensorFlow для компьютера, сведения о котором требуется получить.
task_id (Необязательно) Индекс задачи TensorFlow для компьютера, сведения о котором требуется получить.
config_proto (Необязательно) Конфигурация для запуска нового сеанса, чтобы запросить количество ядер ускорителей.
Возвращаемое значение
Сопоставление типов ускорителей с количеством ядер.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/distribute/cluster_resolver/TFConfigClusterResolver

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API