tf.distribute.cluster_resolver.UnionResolver
| Просмотреть исходный код на GitHub |
Выполняет объединение базовых ClusterResolvers.
Наследуется от: ClusterResolver
tf.distribute.cluster_resolver.UnionResolver(
*args, **kwargs
)
Этот класс выполняет объединение на основе двух или более существующих ClusterResolvers. Он объединяет базовые ClusterResolvers и возвращает единый ClusterSpec при вызове cluster_spec. Подробное описание функции объединения приведено в функции cluster_spec.
Для дополнительных свойств ClusterResolver, таких как тип задачи, индекс задачи, уровень RPC, среда и т. д., мы вернём значение из первого ClusterResolver в объединении.
Пример объединения двух resolvers кластера:
cluster_0 = tf.train.ClusterSpec({"worker": ["worker0.example.com:2222",
"worker1.example.com:2222"]})
cluster_resolver_0 = SimpleClusterResolver(cluster, task_type="worker",
task_id=0,
rpc_layer="grpc")
cluster_1 = tf.train.ClusterSpec({"ps": ["ps0.example.com:2222",
"ps1.example.com:2222"]})
cluster_resolver_1 = SimpleClusterResolver(cluster, task_type="ps",
task_id=0,
rpc_layer="grpc")
# Its task type would be "worker".
cluster_resolver = UnionClusterResolver(cluster_resolver_0,
cluster_resolver_1)
Пример переопределения количества GPU в экземпляре TFConfigClusterResolver:
tf_config = TFConfigClusterResolver()
gpu_override = SimpleClusterResolver(tf_config.cluster_spec(),
num_accelerators={"GPU": 1})
cluster_resolver = UnionResolver(gpu_override, tf_config)
| Аргументы | |
|---|---|
*args | ClusterResolver объекты, которые необходимо объединить. |
**kwargs | rpc_layer - (Необязательно) Переопределённое значение для уровня RPC, используемого TensorFlow. task_type - (Необязательно) Переопределённое значение для текущего типа задачи. task_id - (Необязательно) Переопределённое значение для текущего индекса задачи. |
| Исключения | |
|---|---|
TypeError | Если какой-либо аргумент не является подклассом ClusterResolvers. |
ValueError | Если не передано ни одного аргумента. |
| Атрибуты | |
|---|---|
environment | Возвращает текущую среду выполнения TensorFlow. Возможны два значения возврата: «google» (если TensorFlow выполняется в внутренней среде Google) или пустая строка (если TensorFlow выполняется где-то ещё). Если вы реализуете ClusterResolver, который работает как в внутренней среде Google, так и в открытом исходном коде (например, TPU ClusterResolver или аналогичный), вам нужно будет вернуть соответствующую строку в зависимости от среды, которую нужно определить. В противном случае, если вы реализуете ClusterResolver, который будет работать только с открытым исходным кодом TensorFlow, вам не нужно реализовывать это свойство. |
rpc_layer | |
task_id | Возвращает идентификатор задачи, указанный данным ClusterResolver. В распределённой среде TensorFlow каждая задача может иметь соответствующий идентификатор задачи, который является индексом экземпляра в рамках его типа задачи. Это полезно, когда пользователю необходимо выполнить определённый код в соответствии с индексом задачи. Например, cluster_spec = tf.train.ClusterSpec({
"ps": ["localhost:2222", "localhost:2223"],
"worker": ["localhost:2224", "localhost:2225", "localhost:2226"]
})
# SimpleClusterResolver is used here for illustration; other cluster
# resolvers may be used for other source of task type/id.
simple_resolver = SimpleClusterResolver(cluster_spec, task_type="worker",
task_id=0)
...
if cluster_resolver.task_type == 'worker' and cluster_resolver.task_id == 0:
# Perform something that's only applicable on 'worker' type, id 0. This
# block will run on this particular instance since we've specified this
# task to be a 'worker', id 0 in above cluster resolver.
else:
# Perform something that's only applicable on other ids. This block will
# not run on this particular instance.
Возвращает Для получения дополнительной информации см. строку документации класса |
task_type | Возвращает тип задачи, указанный данным ClusterResolver. В распределённой среде TensorFlow каждая задача может иметь соответствующий тип задачи. Допустимые типы задач в TensorFlow включают «chief» (задача с большей ответственностью), «worker» (обычная рабочая задача для обучения/оценки), «ps» (сервер параметров) или «evaluator» (задача для оценки контрольных точек по метрикам). См. Многозвенная конфигурация для получения дополнительной информации о типах задач «chief» и «worker», которые наиболее часто используются. Доступ к такой информации полезен, когда пользователю необходимо выполнить определённый код в соответствии с типами задач. Например, cluster_spec = tf.train.ClusterSpec({
"ps": ["localhost:2222", "localhost:2223"],
"worker": ["localhost:2224", "localhost:2225", "localhost:2226"]
})
# SimpleClusterResolver is used here for illustration; other cluster
# resolvers may be used for other source of task type/id.
simple_resolver = SimpleClusterResolver(cluster_spec, task_type="worker",
task_id=1)
...
if cluster_resolver.task_type == 'worker':
# Perform something that's only applicable on workers. This block
# will run on this particular instance since we've specified this task to
# be a worker in above cluster resolver.
elif cluster_resolver.task_type == 'ps':
# Perform something that's only applicable on parameter servers. This
# block will not run on this particular instance.
Возвращает Для получения дополнительной информации см. документацию класса |
Методы
cluster_spec
cluster_spec()
Возвращает объединение всех ClusterSpec из ClusterResolvers.
| Возвращает | |
|---|---|
| ClusterSpec, содержащий информацию о узлах, объединённую из всех базовых ClusterResolvers. |
| Исключения | |
|---|---|
KeyError | Если при объединении двух или более словарей обнаружены конфликтующие ключи, выбрасывается это исключение. |
Примечание: Если несколько ClusterResolvers экспонируют ClusterSpecs с одинаковым именем задачи, мы объединим список/словарь рабочих узлов.
Если все базовые ClusterSpecs экспонируют набор рабочих узлов как списки, мы объединим списки рабочих узлов, начиная со списка рабочих узлов из первого переданного в конструктор ClusterResolver.
Если любой из ClusterSpecs экспонирует набор рабочих узлов как словарь, мы будем обрабатывать все наборы рабочих узлов как словари (даже если они возвращаются как списки) и объединим их только в словарь, если нет конфликтующих ключей. Если существует конфликтующий ключ, мы будем выбрасывать KeyError.
master
master(
task_type=None, task_id=None, rpc_layer=None
)
Возвращает адрес главного узла для создания сеанса.
Обычно возвращает главный узел из первого переданного ClusterResolver, но вы можете переопределить это, указав тип задачи и идентификатор задачи.
Примечание: это полезно только для TensorFlow 1.x.
| Аргументы | |
|---|---|
task_type | (Необязательно) Тип задачи TensorFlow главного узла. |
task_id | (Необязательно) Индекс задачи TensorFlow главного узла. |
rpc_layer | (Необязательно) Протокол RPC для данного кластера. |
| Возвращает | |
|---|---|
| Имя или URL главного узла сеанса. |
num_accelerators
num_accelerators(
task_type=None, task_id=None, config_proto=None
)
Возвращает количество ускорителей на процессоре.
Возвращает количество ускорителей (например, GPU и TPU) на рабочем узле.
Необязательно, мы позволяем вызывающим сторонам указывать тип задачи и идентификатор задачи, если они хотят нацелить запрос на конкретную задачу TensorFlow для запроса количества ускорителей. Это поддерживает гетерогенные среды, где количество ускорителей на узле отличается.
| Аргументы | |
|---|---|
task_type | (Необязательно) Тип задачи TensorFlow машины, которую нужно запросить. |
task_id | (Необязательно) Индекс задачи TensorFlow машины, которую нужно запросить. |
config_proto | (Необязательно) Настройки для запуска нового сеанса для запроса количества ускорителей. |
| Возвращает | |
|---|---|
| Словарь типов ускорителей и количества ядер. |
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/distribute/cluster_resolver/UnionResolver