Spec-Zone.ru › TensorFlow

tf.train.ClusterSpec

Представляет кластер как набор «задач», организованных в «работы».

Просмотр псевдонимов

Псевдонимы совместимости для миграции

См. Руководство по миграции для получения более подробной информации.

tf.compat.v1.train.ClusterSpec

tf.train.ClusterSpec(
    cluster
)

Используется в блокнотах

Используется в учебниках
  • Пользовательский цикл обучения с Keras и MultiWorkerMirroredStrategy
  • Обучение с параметровым сервером с помощью ParameterServerStrategy

A tf.train.ClusterSpec представляет собой набор процессов, участвующих в распределенном вычислении TensorFlow. Каждый tf.distribute.Server создаётся в определённом кластере.

Для создания кластера с двумя работами и пятью задачами необходимо указать сопоставление имён работ со списками сетевых адресов (как правило, пары имя хоста-порт).

cluster = tf.train.ClusterSpec({"worker": ["worker0.example.com:2222",
                                           "worker1.example.com:2222",
                                           "worker2.example.com:2222"],
                                "ps": ["ps0.example.com:2222",
                                       "ps1.example.com:2222"]})

Каждая работа также может быть указана как разреженное отображение от индексов задач к сетевым адресам. Это позволяет настроить сервер, не зная идентификаторов (например) всех других задач рабочих узлов:

cluster = tf.train.ClusterSpec({"worker": {1: "worker1.example.com:2222"},
                                "ps": ["ps0.example.com:2222",
                                       "ps1.example.com:2222"]})
Args
cluster Словарь, сопоставляющий одно или несколько имён работ с (i) списком сетевых адресов или (ii) словарем, сопоставляющим целочисленные индексы задач с сетевыми адресами; или протоколом буфера tf.train.ClusterDef.
Raises
TypeError Если cluster не является словарем, сопоставляющим строки с списками строк, и не является протоколом буфера tf.train.ClusterDef.
Атрибуты
jobs Возвращает список имён работ в этом кластере.

Методы

as_cluster_def

Просмотреть исходный код

as_cluster_def()

Возвращает протокол буфера tf.train.ClusterDef на основе этого кластера.

as_dict

Просмотреть исходный код

as_dict()

Возвращает словарь из имён работ и их задач.

Для каждой работы, если пространство индексов задач плотное, соответствующее значение будет списком сетевых адресов; в противном случае это будет словарь, сопоставляющий (разреженные) индексы задач соответствующим адресам.

Возвращает
Словарь, сопоставляющий имена работ со списками или словарями, описывающими задачи в этих работах.

job_tasks

Просмотреть исходный код

job_tasks(
    job_name
)

Возвращает отображение от идентификатора задачи к адресу в заданной работе.

Примечание: Для обеспечения обратной совместимости этот метод возвращает список. Если заданная работа была определена с разреженным набором индексов задач, длина этого списка может не отражать количество задач, определённых в этой работе. Используйте метод tf.train.ClusterSpec.num_tasks, чтобы найти количество задач, определённых в конкретной работе.
Args
job_name Имя строки работы в этом кластере.
Возвращает
Список адресов задач, где индекс в списке соответствует индексу задачи каждой задачи. Список может содержать None, если работа была определена с разреженным набором индексов задач.
Raises
ValueError Если job_name не является именем работы в этом кластере.

num_tasks

Просмотреть исходный код

num_tasks(
    job_name
)

Возвращает количество задач, определённых в заданной работе.

Args
job_name Имя строки работы в этом кластере.
Возвращает
Количество задач, определённых в заданной работе.
Raises
ValueError Если job_name не является именем работы в этом кластере.

task_address

Просмотреть исходный код

task_address(
    job_name, task_index
)

Возвращает адрес заданной задачи в заданной работе.

Args
job_name Имя строки работы в этом кластере.
task_index Неотрицательное целое число.
Возвращает
Адрес заданной задачи в заданной работе.
Raises
ValueError Если job_name не является именем работы в этом кластере или задача с индексом task_index не определена в этой работе.

task_indices

Просмотреть исходный код

task_indices(
    job_name
)

Возвращает список допустимых индексов задач в заданной работе.

Args
job_name Имя строки работы в этом кластере.
Возвращает
Список допустимых индексов задач в заданной работе.
Raises
ValueError Если job_name не является именем работы в этом кластере или задача с индексом task_index не определена в этой работе.

__bool__

Просмотреть исходный код

__bool__()

__eq__

Просмотреть исходный код

__eq__(
    other
)

Возвращает self==value.

__ne__

Просмотреть исходный код

__ne__(
    other
)

Возвращает self!=value.

__nonzero__

Просмотреть исходный код

__nonzero__()

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/train/ClusterSpec

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API