Spec-Zone.ru › TensorFlow 1.15

tf.distribute.cluster_resolver.GCEClusterResolver

Просмотреть исходный код на GitHub

ClusterResolver для Google Compute Engine.

Наследуется от: ClusterResolver

Просмотр псевдонимов

Основные псевдонимы

`tf.contrib.cluster_resolver.GCEClusterResolver`

Псевдонимы для миграции

См. Руководство по миграции для получения более подробной информации.

tf.compat.v1.distribute.cluster_resolver.GCEClusterResolver, `tf.compat.v2.distribute.cluster_resolver.GCEClusterResolver`

tf.distribute.cluster_resolver.GCEClusterResolver(
    project, zone, instance_group, port, task_type='worker', task_id=0,
    rpc_layer='grpc', credentials='default', service=None
)

Это реализация решателей кластеров для платформы группы экземпляров Google Compute Engine. Указав проект, зону и группу экземпляров, это позволит получить IP-адреса всех экземпляров в группе экземпляров и вернуть объект ClusterResolver, подходящий для использования в распределённом TensorFlow.

Аргументы
project Название проекта GCE.
zone Зона группы экземпляров GCE.
instance_group Название группы экземпляров GCE.
port Порт прослушивающего сервера TensorFlow (по умолчанию: 8470)
task_type Название задачи TensorFlow, к которой принадлежит эта группа экземпляров виртуальных машин GCE.
task_id Индекс задачи для этой конкретной виртуальной машины в группе экземпляров GCE. В частности, каждый отдельный экземпляр должен получить уникальный порядковый индекс в группе экземпляров вручную, чтобы их можно было отличить друг от друга.
rpc_layer Слой RPC, который TensorFlow должен использовать для связи между экземплярами.
credentials Кредиты GCE. Если ничего не указано, по умолчанию используется GoogleCredentials.get_application_default().
service Объект API GCE, возвращаемый функцией googleapiclient.discovery. (По умолчанию: discovery.build('compute', 'v1')). Если вы укажете пользовательский объект службы, то параметр credentials будет проигнорирован.
Исключения
ImportError Если googleapiclient не установлен.
Атрибуты
environment Возвращает текущую среду, в которой выполняется TensorFlow.

Существует два возможных значения возврата: «google» (когда TensorFlow выполняется во внутренней среде Google) или пустая строка (когда TensorFlow выполняется где-то еще).

Если вы реализуете ClusterResolver, который работает как в среде Google, так и в открытом мире (например, TPU ClusterResolver или аналогичный), вам нужно вернуть соответствующую строку в зависимости от среды, которую вам нужно будет определить.

В противном случае, если вы реализуете ClusterResolver, который будет работать только в открытом TensorFlow, вам не нужно реализовывать это свойство.

rpc_layer
task_id
task_type

Методы

cluster_spec

Просмотреть исходный код

cluster_spec()

Возвращает объект ClusterSpec на основе последней информации о группе экземпляров.

Это возвращает объект ClusterSpec для использования на основе информации из указанной группы экземпляров. Мы будем получать информацию из API GCE каждый раз, когда этот метод вызывается.

Возвращает
Объект ClusterSpec, содержащий информацию о хостах, полученную из GCE.

master

Просмотреть исходный код

master(
    task_type=None, task_id=None, rpc_layer=None
)

Возвращает имя или URL сеансового мастера.

Аргументы
task_type (Необязательно) Тип задачи TensorFlow мастера.
task_id (Необязательно) Индекс задачи TensorFlow мастера.
rpc_layer (Необязательно) Протокол RPC для данного кластера.
Возвращает
Имя или URL сеансового мастера.

Реализаторы этой функции должны позаботиться о том, чтобы мастер, возвращаемый в момент вызова этой функции, был актуальным. Это обычно означает получение мастера каждый раз при вызове этой функции.

num_accelerators

Просмотреть исходный код

num_accelerators(
    task_type=None, task_id=None, config_proto=None
)

Возвращает количество ускорителей на рабочем узле.

Это возвращает количество ускорителей (например, GPU и TPU) на рабочем узле.

По желанию, мы позволяем вызывающим сторонам указывать task_type и task_id, если они хотят нацелиться на конкретный процесс TensorFlow для запроса количества ускорителей. Это необходимо для поддержки гетерогенных сред, где количество ускорителей на узле различается.

Аргументы
task_type (Необязательно) Тип задачи TensorFlow машины, которую мы хотим запросить.
task_id (Необязательно) Индекс задачи TensorFlow машины, которую мы хотим запросить.
config_proto (Необязательно) Настройка для запуска нового сеанса для запроса количества ускорителей.
Возвращает
Словарь типов ускорителей и количества ядер.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/distribute/cluster_resolver/GCEClusterResolver

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API