tf.experimental.dtensor.initialize_accelerator_system

Инициализирует ускорители и коммуникационные сети для DTensor.

Просмотреть псевдонимы

Основные псевдонимы

tf.experimental.dtensor.initialize_multi_client, tf.experimental.dtensor.initialize_tpu_system

tf.experimental.dtensor.initialize_accelerator_system(
    device_type: Optional[str] = None,
    enable_coordination_service: Optional[bool] = True,
    num_logical_cpu_devices: Optional[int] = None,
    experimental_reset_context: Optional[bool] = False,
    experimental_enable_megcore: Optional[bool] = False
) -> str

DTensor настраивает TensorFlow для работы в локальном или многоклиентском режиме.

В локальном режиме сетка может использовать только устройства, подключенные к текущему процессу.
В многоклиентском режиме сетка может охватывать устройства нескольких клиентов.

Если DTENSOR_JOBS не пуст, DTensor настраивает TensorFlow для работы в многоклиентском режиме с использованием распределенной среды выполнения. В многоклиентском режиме устройства разных клиентов могут взаимодействовать друг с другом.

Следующие переменные среды управляют поведением этой функции.

DTENSOR_JOBS: строка, список элементов, разделенных запятыми. Каждый элемент списка имеет формат {hostname}:{port}. Если значение пустое, DTensor работает в локальном режиме. Примеры допустимых значений DTENSOR_JOBS:
- 4 клиента на localhost: localhost:10000,localhost:10001,localhost:10002,localhost:10003
- 2 клиента на host1, 2 клиента на host2 host1:10000,host1:10001,host2:10000,host2:10003 Если имена хостов являются адресами BNS, элементы должны быть отсортированы в алфавитном порядке.
DTENSOR_CLIENT_ID: целое число от 0 до num_clients - 1, обозначающее идентификатор клиента для текущего процесса. Значение по умолчанию — 0.
DTENSOR_JOB_NAME: строка, задающая имя задания TensorFlow. Имя задания определяет раздел имени задания в спецификациях устройств TensorFlow (DeviceSpecs), например job:worker в /job:worker/replica:0/task:0/device:TPU:0, если имя задания — worker. Значение по умолчанию в локальном режиме — localhost, а в многоклиентском режиме — worker. Все клиенты DTensor в одном многоклиентском кластере используют одно и то же имя задания.
DTENSOR_USE_PARALLEL_EXECUTOR: строка со значением pw указывает, что используется серверная часть Pathways; в противном случае используется TensorFlow.

Аргументы
`device_type`	Тип используемого ускорителя: CPU, GPU или TPU. Если значение None, используется `tf.experimental.dtensor.preferred_device_type()`.
`enable_coordination_service`	Если значение равно true, включается служба распределенной координации, чтобы гарантировать, что рабочие процессы знают об устройствах друг друга, когда клиентов больше одного.
`num_logical_cpu_devices`	количество логических устройств CPU для каждого клиента DTensor. По умолчанию используется текущее количество логических CPU (`dtensor.num_local_devices("CPU")`); если `device_type` — CPU, в противном случае значение автоматически устанавливается в соответствии с количеством локальных устройств GPU/TPU.
`experimental_reset_context`	Сбросить контекст tensorflow. Поведение существующих объектов TensorFlow (например, тензоров) не определено. Установите значение True в качестве крайней меры, если невозможно переработать код так, чтобы вызвать initialize_accelerator_system() до вызова API TensorFlow, инициализирующих контекст.
`experimental_enable_megcore`	При необходимости включить megcore в серверной части.

Возвращает
`device_type`	тип инициализированного ускорителя.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/experimental/dtensor/initialize_accelerator_system