tf.distribute.cluster_resolver.UnionResolver

Выполняет объединение базовых объектов ClusterResolver.

Наследуется от: ClusterResolver

tf.distribute.cluster_resolver.UnionResolver(
    *args, **kwargs
)

Этот класс выполняет объединение двух или более существующих объектов ClusterResolver. Он объединяет базовые объекты ClusterResolver и возвращает единый ClusterSpec при вызове cluster_spec. Подробное описание функции объединения приведено в описании функции cluster_spec.

Для дополнительных свойств ClusterResolver, таких как тип задачи, индекс задачи, уровень RPC, среда и т. д., возвращается значение из первого объекта ClusterResolver в объединении.

Пример объединения двух объектов разрешения кластера:

cluster_0 = tf.train.ClusterSpec({"worker": ["worker0.example.com:2222",
                                             "worker1.example.com:2222"]})
cluster_resolver_0 = SimpleClusterResolver(cluster, task_type="worker",
                                           task_id=0,
                                           rpc_layer="grpc")

cluster_1 = tf.train.ClusterSpec({"ps": ["ps0.example.com:2222",
                                         "ps1.example.com:2222"]})
cluster_resolver_1 = SimpleClusterResolver(cluster, task_type="ps",
                                           task_id=0,
                                           rpc_layer="grpc")

# Its task type would be "worker".
cluster_resolver = UnionClusterResolver(cluster_resolver_0,
                                        cluster_resolver_1)

Пример переопределения количества графических процессоров в экземпляре TFConfigClusterResolver:

tf_config = TFConfigClusterResolver()
gpu_override = SimpleClusterResolver(tf_config.cluster_spec(),
                                     num_accelerators={"GPU": 1})
cluster_resolver = UnionResolver(gpu_override, tf_config)

cluster_spec = tf.train.ClusterSpec({
    "ps": ["localhost:2222", "localhost:2223"],
    "worker": ["localhost:2224", "localhost:2225", "localhost:2226"]
})

# SimpleClusterResolver is used here for illustration; other cluster
# resolvers may be used for other source of task type/id.
simple_resolver = SimpleClusterResolver(cluster_spec, task_type="worker",
                                        task_id=0)

...

if cluster_resolver.task_type == 'worker' and cluster_resolver.task_id == 0:
  # Perform something that's only applicable on 'worker' type, id 0. This
  # block will run on this particular instance since we've specified this
  # task to be a 'worker', id 0 in above cluster resolver.
else:
  # Perform something that's only applicable on other ids. This block will
  # not run on this particular instance.

cluster_spec = tf.train.ClusterSpec({
    "ps": ["localhost:2222", "localhost:2223"],
    "worker": ["localhost:2224", "localhost:2225", "localhost:2226"]
})

# SimpleClusterResolver is used here for illustration; other cluster
# resolvers may be used for other source of task type/id.
simple_resolver = SimpleClusterResolver(cluster_spec, task_type="worker",
                                        task_id=1)

...

if cluster_resolver.task_type == 'worker':
  # Perform something that's only applicable on workers. This block
  # will run on this particular instance since we've specified this task to
  # be a worker in above cluster resolver.
elif cluster_resolver.task_type == 'ps':
  # Perform something that's only applicable on parameter servers. This
  # block will not run on this particular instance.

Методы

cluster_spec

Посмотреть исходный код

cluster_spec()

Возвращает объединение всех объектов ClusterSpec из объектов ClusterResolver.

Примечание: Если несколько объектов ClusterResolver предоставляют объекты ClusterSpec с одинаковым именем задачи, мы объединим списки или словари рабочих узлов.

Если все базовые объекты ClusterSpec представляют набор рабочих узлов в виде списков, мы объединим списки рабочих узлов, начиная со списка из первого объекта ClusterResolver, переданного конструктору.

Если хотя бы один объект ClusterSpec представляет набор рабочих узлов в виде словаря, мы будем считать все наборы рабочих узлов словарями (даже если они возвращены в виде списков) и объединим их в словарь, только если в них нет конфликтующих ключей. При наличии конфликтующего ключа будет вызвано исключение KeyError.

master

Посмотреть исходный код

master(
    task_type=None, task_id=None, rpc_layer=None
)

Возвращает адрес главного узла, используемый при создании сеанса.

Обычно возвращается главный узел из первого объекта ClusterResolver, переданного конструктору, но это можно переопределить, указав task_type и task_id.

Примечание: это полезно только для TensorFlow 1.x.

num_accelerators

Посмотреть исходный код

num_accelerators(
    task_type=None, task_id=None, config_proto=None
)

Возвращает количество ядер ускорителей на один рабочий узел.

Возвращает количество доступных ядер ускорителей (например, графических процессоров и TPU) на один рабочий узел.

При необходимости вызывающие стороны могут указать task_type и task_id, чтобы запросить количество ускорителей для конкретной задачи TensorFlow. Это позволяет поддерживать неоднородные среды, в которых количество ядер ускорителей на хосте различается.