tf.distribute.cluster_resolver.KubernetesClusterResolver
| Просмотреть исходный код на GitHub |
ClusterResolver для Kubernetes.
Наследуется от: ClusterResolver
tf.distribute.cluster_resolver.KubernetesClusterResolver(
job_to_label_mapping=None, tf_server_port=8470, rpc_layer='grpc',
override_client=None
)
Это реализация резолверов кластеров для Kubernetes. При задании пространства имен Kubernetes и селектора меток для под, мы получим IP-адреса под всех активных под, соответствующих селектору, и вернем ClusterSpec на основе этой информации.
| Аргументы | |
|---|---|
job_to_label_mapping | Сопоставление задач TensorFlow с селекторами меток. Это позволяет пользователям указывать много задач TensorFlow в одном Cluster Resolver, и каждая задача может иметь под с разными селекторами меток. Например, пример сопоставления может быть {'worker': ['job-name=worker-cluster-a', 'job-name=worker-cluster-b'],
'ps': ['job-name=ps-1', 'job-name=ps-2']}
|
tf_server_port | Порт, на котором слушает сервер TensorFlow. |
rpc_layer | (Необязательно) Слой RPC, который TensorFlow должен использовать для связи между задачами в Kubernetes. По умолчанию 'grpc'. |
override_client | Клиент Kubernetes (обычно автоматически извлекается с помощью from kubernetes import client as k8sclient). Если вы передаете его, вы отвечаете за ручную установку учетных данных Kubernetes. |
| Исключения | |
|---|---|
ImportError | Если клиент Kubernetes Python не установлен и не передан override_client. |
RuntimeError | Если autoresolve_task не является булевым значением или вызываемым объектом. |
| Атрибуты | |
|---|---|
environment | Возвращает текущую среду, в которой работает TensorFlow. Возможны два значения возврата: "google" (когда TensorFlow работает во внутренней среде Google) или пустая строка (когда TensorFlow работает в другом месте). Если вы реализуете ClusterResolver, который работает как в среде Google, так и в открытом исходном коде (например, TPU ClusterResolver или аналогичный), вам нужно будет вернуть соответствующую строку в зависимости от среды, которую вам нужно будет определить. В противном случае, если вы реализуете ClusterResolver, который будет работать только в TensorFlow с открытым исходным кодом, вам не нужно реализовывать этот свойство. |
Методы
cluster_spec
cluster_spec()
Возвращает объект ClusterSpec на основе последней информации из Kubernetes.
Мы извлекаем информацию с Kubernetes-мастера каждый раз, когда этот метод вызывается.
| Возвращает | |
|---|---|
| ClusterSpec, содержащий информацию об узлах, возвращенную из Kubernetes. |
| Исключения | |
|---|---|
RuntimeError | Если какая-либо из под, возвращенных мастером, не находится в Running фазе. |
master
master(
task_type=None, task_id=None, rpc_layer=None
)
Возвращает адрес мастера, используемый при создании сессии.
Вы должны задать свойства task_type и task_id объекта перед вызовом этой функции или передать параметры task_type и task_id при использовании этой функции. Если вы делаете и то, и другое, параметры функции переопределят свойства объекта.
| Аргументы | |
|---|---|
task_type | (Необязательно) Тип задачи TensorFlow мастера. |
task_id | (Необязательно) Индекс задачи TensorFlow мастера. |
rpc_layer | (Необязательно) Протокол RPC для данного кластера. |
| Возвращает | |
|---|---|
| Имя или URL мастера сессии. |
num_accelerators
num_accelerators(
task_type=None, task_id=None, config_proto=None
)
Возвращает количество ускорительных ядер на рабочий процесс.
Возвращает количество ускорительных ядер (таких как GPU и TPU) на рабочий процесс.
Необязательно, мы позволяем вызывающим сторонам указать task_type и task_id, если они хотят нацелиться на определенный процесс TensorFlow для запроса количества ускорителей. Это поддерживает гетерогенные среды, где количество ускорительных ядер на хост отличается.
| Аргументы | |
|---|---|
task_type | (Необязательно) Тип задачи TensorFlow машины, которую мы хотим запросить. |
task_id | (Необязательно) Индекс задачи TensorFlow машины, которую мы хотим запросить. |
config_proto | (Необязательно) Настройка для запуска новой сессии, чтобы запросить, сколько у нее ускорительных ядер. |
| Возвращает | |
|---|---|
| Карта типов ускорителей к количеству ядер. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/distribute/cluster_resolver/KubernetesClusterResolver