Spec-Zone.ru › TensorFlow 1.15

tf.distribute.cluster_resolver.KubernetesClusterResolver

Просмотреть исходный код на GitHub

ClusterResolver для Kubernetes.

Наследуется от: ClusterResolver

Просмотр псевдонимов

Основные псевдонимы

`tf.contrib.cluster_resolver.KubernetesClusterResolver`

Псевдонимы для миграции

См. Руководство по миграции для получения более подробной информации.

tf.compat.v1.distribute.cluster_resolver.KubernetesClusterResolver, `tf.compat.v2.distribute.cluster_resolver.KubernetesClusterResolver`

tf.distribute.cluster_resolver.KubernetesClusterResolver(
    job_to_label_mapping=None, tf_server_port=8470, rpc_layer='grpc',
    override_client=None
)

Это реализация резолверов кластеров для Kubernetes. При задании пространства имен Kubernetes и селектора меток для под, мы получим IP-адреса под всех активных под, соответствующих селектору, и вернем ClusterSpec на основе этой информации.

Аргументы
job_to_label_mapping Сопоставление задач TensorFlow с селекторами меток. Это позволяет пользователям указывать много задач TensorFlow в одном Cluster Resolver, и каждая задача может иметь под с разными селекторами меток. Например, пример сопоставления может быть
{'worker': ['job-name=worker-cluster-a', 'job-name=worker-cluster-b'],
'ps': ['job-name=ps-1', 'job-name=ps-2']}
tf_server_port Порт, на котором слушает сервер TensorFlow.
rpc_layer (Необязательно) Слой RPC, который TensorFlow должен использовать для связи между задачами в Kubernetes. По умолчанию 'grpc'.
override_client Клиент Kubernetes (обычно автоматически извлекается с помощью from kubernetes import client as k8sclient). Если вы передаете его, вы отвечаете за ручную установку учетных данных Kubernetes.
Исключения
ImportError Если клиент Kubernetes Python не установлен и не передан override_client.
RuntimeError Если autoresolve_task не является булевым значением или вызываемым объектом.
Атрибуты
environment Возвращает текущую среду, в которой работает TensorFlow.

Возможны два значения возврата: "google" (когда TensorFlow работает во внутренней среде Google) или пустая строка (когда TensorFlow работает в другом месте).

Если вы реализуете ClusterResolver, который работает как в среде Google, так и в открытом исходном коде (например, TPU ClusterResolver или аналогичный), вам нужно будет вернуть соответствующую строку в зависимости от среды, которую вам нужно будет определить.

В противном случае, если вы реализуете ClusterResolver, который будет работать только в TensorFlow с открытым исходным кодом, вам не нужно реализовывать этот свойство.

Методы

cluster_spec

Просмотреть исходный код

cluster_spec()

Возвращает объект ClusterSpec на основе последней информации из Kubernetes.

Мы извлекаем информацию с Kubernetes-мастера каждый раз, когда этот метод вызывается.

Возвращает
ClusterSpec, содержащий информацию об узлах, возвращенную из Kubernetes.
Исключения
RuntimeError Если какая-либо из под, возвращенных мастером, не находится в Running фазе.

master

Просмотреть исходный код

master(
    task_type=None, task_id=None, rpc_layer=None
)

Возвращает адрес мастера, используемый при создании сессии.

Вы должны задать свойства task_type и task_id объекта перед вызовом этой функции или передать параметры task_type и task_id при использовании этой функции. Если вы делаете и то, и другое, параметры функции переопределят свойства объекта.

Аргументы
task_type (Необязательно) Тип задачи TensorFlow мастера.
task_id (Необязательно) Индекс задачи TensorFlow мастера.
rpc_layer (Необязательно) Протокол RPC для данного кластера.
Возвращает
Имя или URL мастера сессии.

num_accelerators

Просмотреть исходный код

num_accelerators(
    task_type=None, task_id=None, config_proto=None
)

Возвращает количество ускорительных ядер на рабочий процесс.

Возвращает количество ускорительных ядер (таких как GPU и TPU) на рабочий процесс.

Необязательно, мы позволяем вызывающим сторонам указать task_type и task_id, если они хотят нацелиться на определенный процесс TensorFlow для запроса количества ускорителей. Это поддерживает гетерогенные среды, где количество ускорительных ядер на хост отличается.

Аргументы
task_type (Необязательно) Тип задачи TensorFlow машины, которую мы хотим запросить.
task_id (Необязательно) Индекс задачи TensorFlow машины, которую мы хотим запросить.
config_proto (Необязательно) Настройка для запуска новой сессии, чтобы запросить, сколько у нее ускорительных ядер.
Возвращает
Карта типов ускорителей к количеству ядер.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/distribute/cluster_resolver/KubernetesClusterResolver

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API