tf.distribute.cluster_resolver.GCEClusterResolver
| Просмотреть исходный код на GitHub |
ClusterResolver для Google Compute Engine.
Наследуется от: ClusterResolver
tf.distribute.cluster_resolver.GCEClusterResolver(
project, zone, instance_group, port, task_type='worker', task_id=0,
rpc_layer='grpc', credentials='default', service=None
)
Это реализация решателей кластеров для платформы группы экземпляров Google Compute Engine. Указав проект, зону и группу экземпляров, это позволит получить IP-адреса всех экземпляров в группе экземпляров и вернуть объект ClusterResolver, подходящий для использования в распределённом TensorFlow.
| Аргументы | |
|---|---|
project | Название проекта GCE. |
zone | Зона группы экземпляров GCE. |
instance_group | Название группы экземпляров GCE. |
port | Порт прослушивающего сервера TensorFlow (по умолчанию: 8470) |
task_type | Название задачи TensorFlow, к которой принадлежит эта группа экземпляров виртуальных машин GCE. |
task_id | Индекс задачи для этой конкретной виртуальной машины в группе экземпляров GCE. В частности, каждый отдельный экземпляр должен получить уникальный порядковый индекс в группе экземпляров вручную, чтобы их можно было отличить друг от друга. |
rpc_layer | Слой RPC, который TensorFlow должен использовать для связи между экземплярами. |
credentials | Кредиты GCE. Если ничего не указано, по умолчанию используется GoogleCredentials.get_application_default(). |
service | Объект API GCE, возвращаемый функцией googleapiclient.discovery. (По умолчанию: discovery.build('compute', 'v1')). Если вы укажете пользовательский объект службы, то параметр credentials будет проигнорирован. |
| Исключения | |
|---|---|
ImportError | Если googleapiclient не установлен. |
| Атрибуты | |
|---|---|
environment | Возвращает текущую среду, в которой выполняется TensorFlow. Существует два возможных значения возврата: «google» (когда TensorFlow выполняется во внутренней среде Google) или пустая строка (когда TensorFlow выполняется где-то еще). Если вы реализуете ClusterResolver, который работает как в среде Google, так и в открытом мире (например, TPU ClusterResolver или аналогичный), вам нужно вернуть соответствующую строку в зависимости от среды, которую вам нужно будет определить. В противном случае, если вы реализуете ClusterResolver, который будет работать только в открытом TensorFlow, вам не нужно реализовывать это свойство. |
rpc_layer | |
task_id | |
task_type | |
Методы
cluster_spec
cluster_spec()
Возвращает объект ClusterSpec на основе последней информации о группе экземпляров.
Это возвращает объект ClusterSpec для использования на основе информации из указанной группы экземпляров. Мы будем получать информацию из API GCE каждый раз, когда этот метод вызывается.
| Возвращает | |
|---|---|
| Объект ClusterSpec, содержащий информацию о хостах, полученную из GCE. |
master
master(
task_type=None, task_id=None, rpc_layer=None
)
Возвращает имя или URL сеансового мастера.
| Аргументы | |
|---|---|
task_type | (Необязательно) Тип задачи TensorFlow мастера. |
task_id | (Необязательно) Индекс задачи TensorFlow мастера. |
rpc_layer | (Необязательно) Протокол RPC для данного кластера. |
| Возвращает | |
|---|---|
| Имя или URL сеансового мастера. |
Реализаторы этой функции должны позаботиться о том, чтобы мастер, возвращаемый в момент вызова этой функции, был актуальным. Это обычно означает получение мастера каждый раз при вызове этой функции.
num_accelerators
num_accelerators(
task_type=None, task_id=None, config_proto=None
)
Возвращает количество ускорителей на рабочем узле.
Это возвращает количество ускорителей (например, GPU и TPU) на рабочем узле.
По желанию, мы позволяем вызывающим сторонам указывать task_type и task_id, если они хотят нацелиться на конкретный процесс TensorFlow для запроса количества ускорителей. Это необходимо для поддержки гетерогенных сред, где количество ускорителей на узле различается.
| Аргументы | |
|---|---|
task_type | (Необязательно) Тип задачи TensorFlow машины, которую мы хотим запросить. |
task_id | (Необязательно) Индекс задачи TensorFlow машины, которую мы хотим запросить. |
config_proto | (Необязательно) Настройка для запуска нового сеанса для запроса количества ускорителей. |
| Возвращает | |
|---|---|
| Словарь типов ускорителей и количества ядер. |
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/distribute/cluster_resolver/GCEClusterResolver