tf.distribute.cluster_resolver.KubernetesClusterResolver
ClusterResolver для Kubernetes.
Наследуется от: ClusterResolver
tf.distribute.cluster_resolver.KubernetesClusterResolver(
job_to_label_mapping=None,
tf_server_port=8470,
rpc_layer='grpc',
override_client=None
)
Это реализация преобразователей кластера для Kubernetes. Если указаны пространство имён Kubernetes и селектор меток для подов, будут получены IP-адреса всех запущенных подов, соответствующих селектору, и на основе этих данных будет возвращён ClusterSpec.
Примечание: он не может получитьtask_type,task_idилиrpc_layer. Чтобы использовать его с некоторыми стратегиями распределения, напримерtf.distribute.experimental.MultiWorkerMirroredStrategy, необходимо указатьtask_typeиtask_id, задав эти атрибуты.
Пример использования с tf.distribute.Strategy:
# On worker 0
cluster_resolver = KubernetesClusterResolver(
{"worker": ["job-name=worker-cluster-a", "job-name=worker-cluster-b"]})
cluster_resolver.task_type = "worker"
cluster_resolver.task_id = 0
strategy = tf.distribute.experimental.MultiWorkerMirroredStrategy(
cluster_resolver=cluster_resolver)
# On worker 1
cluster_resolver = KubernetesClusterResolver(
{"worker": ["job-name=worker-cluster-a", "job-name=worker-cluster-b"]})
cluster_resolver.task_type = "worker"
cluster_resolver.task_id = 1
strategy = tf.distribute.experimental.MultiWorkerMirroredStrategy(
cluster_resolver=cluster_resolver)
| Аргументы | |
|---|---|
job_to_label_mapping | Соответствие заданий TensorFlow селекторам меток. Это позволяет пользователям указывать несколько заданий TensorFlow в одном Cluster Resolver; для каждого задания могут использоваться поды с разными селекторами меток. Например, соответствие может выглядеть так:
{'worker': ['job-name=worker-cluster-a', 'job-name=worker-cluster-b'],
'ps': ['job-name=ps-1', 'job-name=ps-2']}
|
tf_server_port | Порт, на котором ожидает подключения сервер TensorFlow. |
rpc_layer | (Необязательно) Уровень RPC, который TensorFlow должен использовать для связи между задачами в Kubernetes. По умолчанию — 'grpc'. |
override_client | Клиент Kubernetes (обычно автоматически получается с помощью from kubernetes import client as k8sclient). Если передать его здесь, необходимо вручную настроить учётные данные Kubernetes. |
| Вызывает исключения | |
|---|---|
ImportError | Если клиент Kubernetes для Python не установлен и не передан override_client. |
RuntimeError | Если autoresolve_task не является логическим значением или вызываемым объектом. |
| Атрибуты | |
|---|---|
environment | Возвращает текущую среду, в которой выполняется TensorFlow. Возможны два значения: "google" (если TensorFlow выполняется во внутренней среде Google) или пустая строка (если TensorFlow выполняется в другой среде). Если вы реализуете ClusterResolver, работающий как в среде Google, так и в мире открытого исходного кода (например, TPU ClusterResolver или аналогичный), необходимо возвращать соответствующую строку в зависимости от среды, которую нужно определить. В противном случае, если вы реализуете ClusterResolver, предназначенный только для TensorFlow с открытым исходным кодом, реализовывать это свойство не требуется. |
task_id | Возвращает идентификатор задачи, обозначаемой этим ClusterResolver. В распределённой среде TensorFlow для каждого задания может быть задан соответствующий идентификатор задачи — индекс экземпляра в рамках её типа. Это полезно, когда пользователю нужно выполнять определённый код в зависимости от индекса задачи. Например: cluster_spec = tf.train.ClusterSpec({
"ps": ["localhost:2222", "localhost:2223"],
"worker": ["localhost:2224", "localhost:2225", "localhost:2226"]
})
# SimpleClusterResolver is used here for illustration; other cluster
# resolvers may be used for other source of task type/id.
simple_resolver = SimpleClusterResolver(cluster_spec, task_type="worker",
task_id=0)
...
if cluster_resolver.task_type == 'worker' and cluster_resolver.task_id == 0:
# Perform something that's only applicable on 'worker' type, id 0. This
# block will run on this particular instance since we've specified this
# task to be a 'worker', id 0 in above cluster resolver.
else:
# Perform something that's only applicable on other ids. This block will
# not run on this particular instance.
Возвращает Дополнительную информацию см. в документации класса |
task_type | Возвращает тип задачи, обозначаемой этим ClusterResolver. В распределённой среде TensorFlow для каждого задания может быть задан соответствующий тип задачи. Допустимые типы задач в TensorFlow: 'chief' — рабочий узел с дополнительными обязанностями; 'worker' — обычный рабочий узел для обучения или оценки; 'ps' — сервер параметров; 'evaluator' — узел оценки, который вычисляет метрики для контрольных точек. Дополнительную информацию о типах задач 'chief' и 'worker', которые используются чаще всего, см. в разделе «Конфигурация для нескольких рабочих узлов». Доступ к этой информации полезен, когда пользователю нужно выполнять определённый код в зависимости от типа задачи. Например: cluster_spec = tf.train.ClusterSpec({
"ps": ["localhost:2222", "localhost:2223"],
"worker": ["localhost:2224", "localhost:2225", "localhost:2226"]
})
# SimpleClusterResolver is used here for illustration; other cluster
# resolvers may be used for other source of task type/id.
simple_resolver = SimpleClusterResolver(cluster_spec, task_type="worker",
task_id=1)
...
if cluster_resolver.task_type == 'worker':
# Perform something that's only applicable on workers. This block
# will run on this particular instance since we've specified this task to
# be a worker in above cluster resolver.
elif cluster_resolver.task_type == 'ps':
# Perform something that's only applicable on parameter servers. This
# block will not run on this particular instance.
Возвращает Дополнительную информацию см. в документации класса |
Методы
cluster_spec
cluster_spec()
Возвращает объект ClusterSpec на основе последних данных из Kubernetes.
При каждом вызове этого метода данные запрашиваются у главного узла Kubernetes.
| Возвращает | |
|---|---|
| ClusterSpec, содержащий сведения о хостах, полученные от Kubernetes. |
| Вызывает исключения | |
|---|---|
RuntimeError | Если какой-либо из подов, возвращённых главным узлом, находится не в фазе Running. |
master
master(
task_type=None, task_id=None, rpc_layer=None
)
Возвращает адрес главного узла, используемый при создании сеанса.
Перед вызовом этой функции необходимо задать свойства объекта task_type и task_id или передать параметры task_type и task_id при её вызове. Если указать и то и другое, параметры функции будут иметь приоритет над свойствами объекта.
Примечание: это полезно только для TensorFlow 1.x.
| Аргументы | |
|---|---|
task_type | (Необязательно) Тип задачи TensorFlow главного узла. |
task_id | (Необязательно) Индекс задачи TensorFlow главного узла. |
rpc_layer | (Необязательно) Протокол RPC для указанного кластера. |
| Возвращает | |
|---|---|
| Имя или URL главного узла сеанса. |
num_accelerators
num_accelerators(
task_type=None, task_id=None, config_proto=None
)
Возвращает количество ядер ускорителей на одном рабочем узле.
Возвращает количество доступных ядер ускорителей (например, GPU и TPU) на одном рабочем узле.
При необходимости вызывающие стороны могут указать task_type и task_id, чтобы запросить количество ускорителей для определённой задачи TensorFlow. Это позволяет поддерживать неоднородные среды, в которых количество ядер ускорителей на хосте различается.
| Аргументы | |
|---|---|
task_type | (Необязательно) Тип задачи TensorFlow для машины, сведения о которой требуется запросить. |
task_id | (Необязательно) Индекс задачи TensorFlow для машины, сведения о которой требуется запросить. |
config_proto | (Необязательно) Конфигурация для запуска нового сеанса, чтобы запросить количество ядер ускорителей. |
| Возвращает | |
|---|---|
| Сопоставление типов ускорителей с количеством ядер. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/distribute/cluster_resolver/KubernetesClusterResolver