tf.distribute.cluster_resolver.TFConfigClusterResolver
Реализация ClusterResolver, которая считывает переменную среды TF_CONFIG.
Наследуется от: ClusterResolver
tf.distribute.cluster_resolver.TFConfigClusterResolver(
task_type=None, task_id=None, rpc_layer=None, environment=None
)
Используется в блокнотах
| Используется в руководстве |
|---|
Это реализация разрешителей кластеров при использовании TF_CONFIG для задания информации о кластере. Спецификация кластера будет инициализирована из переменной окружения TF_CONFIG.
Пример настройки TF_CONFIG:
os.environ['TF_CONFIG'] = json.dumps({
'cluster': {
'worker': ["localhost:12345", "localhost:23456"]
},
'task': {'type': 'worker', 'index': 0}
})
Однако иногда среда выполнения контейнера задаёт TF_CONFIG за вас. В этом случае вы можете просто создать экземпляр без передачи каких-либо аргументов. Пример, как Kubernetes устанавливает TF_CONFIG за вас: https://github.com/tensorflow/ecosystem/tree/master/kubernetes. Затем вы можете использовать его с tf.distribute.Strategy следующим образом:
# `TFConfigClusterResolver` is already the default one in the following
# strategy.
strategy = tf.distribute.experimental.MultiWorkerMirroredStrategy(
cluster_resolver=TFConfigClusterResolver())
| Args | |
|---|---|
task_type | (String, optional) Переопределяет тип задачи, указанный в переменной среды TF_CONFIG. |
task_id | (Integer, optional) Переопределяет индекс задачи, указанный в переменной среды TF_CONFIG. |
rpc_layer | (String, optional) Переопределяет уровень RPC, который использует TensorFlow. |
environment | (String, optional) Переопределяет среду, в которой работает TensorFlow. |
| Атрибуты | |
|---|---|
environment | Возвращает текущую среду, в которой выполняется TensorFlow. Возможны два значения возврата: «google» (когда TensorFlow выполняется во внутренней среде Google) или пустая строка (когда TensorFlow выполняется где-либо ещё). Если вы реализуете ClusterResolver, который работает как в среде Google, так и в открытом исходном коде (например, TPU ClusterResolver или аналогичный), вам нужно будет возвращать соответствующую строку в зависимости от среды, которую вы должны определить. В противном случае, если вы реализуете ClusterResolver, который будет работать только в открытом TensorFlow, вам не нужно реализовывать этот атрибут. |
rpc_layer | |
task_id | Возвращает идентификатор задачи, который этот ClusterResolver указывает. В распределённой среде TensorFlow каждая задача может иметь соответствующий идентификатор задачи, который представляет собой индекс экземпляра в его типе задачи. Это полезно, когда пользователю нужно выполнить определённый код в соответствии с индексом задачи. Например, cluster_spec = tf.train.ClusterSpec({
"ps": ["localhost:2222", "localhost:2223"],
"worker": ["localhost:2224", "localhost:2225", "localhost:2226"]
})
# SimpleClusterResolver is used here for illustration; other cluster
# resolvers may be used for other source of task type/id.
simple_resolver = SimpleClusterResolver(cluster_spec, task_type="worker",
task_id=0)
...
if cluster_resolver.task_type == 'worker' and cluster_resolver.task_id == 0:
# Perform something that's only applicable on 'worker' type, id 0. This
# block will run on this particular instance since we've specified this
# task to be a 'worker', id 0 in above cluster resolver.
else:
# Perform something that's only applicable on other ids. This block will
# not run on this particular instance.
Возвращает Дополнительные сведения см. в документации класса |
task_type | Возвращает тип задачи, который этот ClusterResolver указывает. В распределённой среде TensorFlow у каждой задачи может быть соответствующий тип задачи. Допустимые типы задач в TensorFlow включают «chief» (задача с большей ответственностью), «worker» (обычная задача для обучения/оценивания), «ps» (сервер параметров) или «evaluator» (оценщик, оценивающий контрольные точки для метрик). См. Конфигурация многозвенной задачи для получения дополнительных сведений о типе задачи «chief» и «worker», которые чаще всего используются. Доступ к такой информации полезен, когда пользователь хочет выполнить определённый код в соответствии с типами задач. Например, cluster_spec = tf.train.ClusterSpec({
"ps": ["localhost:2222", "localhost:2223"],
"worker": ["localhost:2224", "localhost:2225", "localhost:2226"]
})
# SimpleClusterResolver is used here for illustration; other cluster
# resolvers may be used for other source of task type/id.
simple_resolver = SimpleClusterResolver(cluster_spec, task_type="worker",
task_id=1)
...
if cluster_resolver.task_type == 'worker':
# Perform something that's only applicable on workers. This block
# will run on this particular instance since we've specified this task to
# be a worker in above cluster resolver.
elif cluster_resolver.task_type == 'ps':
# Perform something that's only applicable on parameter servers. This
# block will not run on this particular instance.
Возвращает Дополнительные сведения см. в документации класса |
Методы
cluster_spec
cluster_spec()
Возвращает ClusterSpec на основе переменной среды TF_CONFIG.
| Возвращает | |
|---|---|
| ClusterSpec с информацией из переменной окружения TF_CONFIG. |
master
master(
task_type=None, task_id=None, rpc_layer=None
)
Возвращает адрес master для использования при создании сеанса TensorFlow.
Примечание: это полезно только для TensorFlow 1.x.
| Args | |
|---|---|
task_type | (String, optional) Переопределяет и устанавливает тип задачи master. |
task_id | (Integer, optional) Переопределяет и устанавливает идентификатор задачи master. |
rpc_layer | (String, optional) Переопределяет и устанавливает протокол, по которому узлы TensorFlow общаются друг с другом. |
| Возвращает | |
|---|---|
| Адрес master. |
| Возможные исключения | |
|---|---|
RuntimeError | Если тип задачи или идентификатор задачи не указаны, а переменная среды TF_CONFIG не содержит раздел задачи. |
num_accelerators
num_accelerators(
task_type=None, task_id=None, config_proto=None
)
Возвращает количество ускорительных ядер на задачу worker.
Возвращает количество ускорительных ядер (например, GPU и TPU) на задачу worker.
Мы также позволяем вызывающим сторонам указать тип задачи и идентификатор задачи, если они хотят нацелиться на определённую задачу TensorFlow для запроса количества ускорителей. Это нужно для поддержки гетерогенных сред, где количество ускорительных ядер на хост отличается.
| Args | |
|---|---|
task_type | (Необязательно) Тип задачи TensorFlow узла, для которого мы хотим запросить количество ускорителей. |
task_id | (Необязательно) Индекс задачи TensorFlow узла, для которого мы хотим запросить количество ускорителей. |
config_proto | (Необязательно) Конфигурация для запуска нового сеанса, чтобы запросить количество ускорительных ядер. |
| Возвращает | |
|---|---|
| Словарь типов ускорителей и количества ядер. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/distribute/cluster_resolver/TFConfigClusterResolver