Spec-Zone.ru › TensorFlow 2.9

tf.distribute.cluster_resolver.SimpleClusterResolver

Просмотреть исходный код на GitHub

Простое реализация ClusterResolver, принимающая все атрибуты.

Наследуется от: ClusterResolver

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения более подробной информации.

tf.compat.v1.distribute.cluster_resolver.SimpleClusterResolver

tf.distribute.cluster_resolver.SimpleClusterResolver(
    cluster_spec,
    master='',
    task_type=None,
    task_id=None,
    environment='',
    num_accelerators=None,
    rpc_layer=None
)

См. базовый класс для получения документации по аргументам его конструктора.

Полезно, если вы хотите указать некоторые или все атрибуты.

Пример использования с tf.distribute.Strategy:

cluster = tf.train.ClusterSpec({"worker": ["worker0.example.com:2222",
                                           "worker1.example.com:2222"]})

# On worker 0
cluster_resolver = SimpleClusterResolver(cluster, task_type="worker",
                                         task_id=0,
                                         num_accelerators={"GPU": 8},
                                         rpc_layer="grpc")
strategy = tf.distribute.experimental.MultiWorkerMirroredStrategy(
    cluster_resolver=cluster_resolver)

# On worker 1
cluster_resolver = SimpleClusterResolver(cluster, task_type="worker",
                                         task_id=1,
                                         num_accelerators={"GPU": 8},
                                         rpc_layer="grpc")
strategy = tf.distribute.experimental.MultiWorkerMirroredStrategy(
    cluster_resolver=cluster_resolver)
Атрибуты
environment Возвращает текущую среду, в которой выполняется TensorFlow.

Возможны два возвращаемых значения: "google" (когда TensorFlow выполняется в внутренней среде Google) или пустая строка (когда TensorFlow выполняется в другом месте).

Если вы реализуете ClusterResolver, который работает как в среде Google, так и в открытом исходном коде (например, TPU ClusterResolver или аналогичный), вам нужно будет вернуть соответствующую строку в зависимости от среды, которую вы должны определить.

В противном случае, если вы реализуете ClusterResolver, который будет работать только в открытом исходном коде TensorFlow, вам не нужно реализовывать этот свойство.

rpc_layer
task_id Возвращает идентификатор задачи, указанный этим ClusterResolver.

В распределённой среде TensorFlow каждая задача может иметь применимый идентификатор задачи, который представляет собой индекс экземпляра в типе задачи. Это полезно, когда пользователю нужно запустить определённый код в соответствии с индексом задачи. Например,

cluster_spec = tf.train.ClusterSpec({
    "ps": ["localhost:2222", "localhost:2223"],
    "worker": ["localhost:2224", "localhost:2225", "localhost:2226"]
})

# SimpleClusterResolver is used here for illustration; other cluster
# resolvers may be used for other source of task type/id.
simple_resolver = SimpleClusterResolver(cluster_spec, task_type="worker",
                                        task_id=0)

...

if cluster_resolver.task_type == 'worker' and cluster_resolver.task_id == 0:
  # Perform something that's only applicable on 'worker' type, id 0. This
  # block will run on this particular instance since we've specified this
  # task to be a 'worker', id 0 in above cluster resolver.
else:
  # Perform something that's only applicable on other ids. This block will
  # not run on this particular instance.

Возвращает None, если такая информация недоступна или неприменима в текущей распределённой среде, например, при обучении с помощью tf.distribute.cluster_resolver.TPUClusterResolver.

Дополнительную информацию можно найти в документации класса tf.distribute.cluster_resolver.ClusterResolver.

task_type Возвращает тип задачи, указанный этим ClusterResolver.

В распределённой среде TensorFlow каждая задача может иметь применимый тип задачи. Допустимые типы задач в TensorFlow включают 'chief' (главная задача, с большей ответственностью), 'worker' (обычная рабочая задача для обучения/оценки), 'ps' (сервер параметров) или 'evaluator' (оцениватель, который оценивает контрольные точки для метрик).

См. Конфигурация многозадачного режима для получения дополнительной информации о типах задач 'chief' и 'worker', которые наиболее часто используются.

Доступ к такой информации полезен, когда пользователю нужно выполнить определенный код в соответствии с типами задач. Например,

cluster_spec = tf.train.ClusterSpec({
    "ps": ["localhost:2222", "localhost:2223"],
    "worker": ["localhost:2224", "localhost:2225", "localhost:2226"]
})

# SimpleClusterResolver is used here for illustration; other cluster
# resolvers may be used for other source of task type/id.
simple_resolver = SimpleClusterResolver(cluster_spec, task_type="worker",
                                        task_id=1)

...

if cluster_resolver.task_type == 'worker':
  # Perform something that's only applicable on workers. This block
  # will run on this particular instance since we've specified this task to
  # be a worker in above cluster resolver.
elif cluster_resolver.task_type == 'ps':
  # Perform something that's only applicable on parameter servers. This
  # block will not run on this particular instance.

Возвращает None, если такая информация недоступна или неприменима в текущей распределённой среде, например, при обучении с помощью tf.distribute.experimental.TPUStrategy.

Дополнительную информацию см. в документации класса tf.distribute.cluster_resolver.ClusterResolver.

Методы

cluster_spec

Просмотреть исходный код

cluster_spec()

Возвращает ClusterSpec, переданный в конструктор.

master

Просмотреть исходный код

master(
    task_type=None, task_id=None, rpc_layer=None
)

Возвращает адрес узла для использования при создании сессии.

Примечание: это полезно только для TensorFlow 1.x.
Аргументы
task_type (Необязательно) Тип задачи TensorFlow узла.
task_id (Необязательно) Индекс задачи TensorFlow узла.
rpc_layer (Необязательно) RPC, используемый распределённым TensorFlow.
Возвращаемые значения
Имя или URL узла сессии.

Если заданы task_type и task_id, это переопределит строку master переданную в функцию инициализации.

num_accelerators

Просмотреть исходный код

num_accelerators(
    task_type=None, task_id=None, config_proto=None
)

Возвращает количество ускорителей на ядро рабочей задачи.

SimpleClusterResolver не выполняет автоматическое обнаружение ускорителей, и поэтому все аргументы не используются, и мы просто возвращаем значение, предоставленное в конструкторе.

Аргументы
task_type Не используется.
task_id Не используется.
config_proto Не используется.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/distribute/cluster_resolver/SimpleClusterResolver

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API