Модуль: tf.experimental.dtensor

Публичный API пространства имён tf._api.v2.experimental.dtensor

Классы

class DTensorCheckpoint: Управляет сохранением и восстановлением отслеживаемых значений на диске для DTensor. (устарело)

class DTensorDataset: Набор данных DTensor.

class DVariable: Замена tf.Variable, учитывающая размещение начального значения.

class Layout: Представляет информацию о компоновке DTensor.

class Mesh: Представляет конфигурацию Mesh для заданного списка измерений Mesh.

Функции

barrier(...): Выполняет барьерную синхронизацию в mesh.

call_with_layout(...): Вызывает функцию в области действия устройства DTensor, если layout не равен None.

check_layout(...): Проверяет, что компоновка DTensor — layout.

client_id(...): Возвращает идентификатор этого клиента.

copy_to_mesh(...): Копирует tf.Tensor на устройство DTensor с заданной компоновкой.

create_distributed_mesh(...): Создаёт распределённый mesh.

create_mesh(...): Создаёт mesh для одного клиента.

create_tpu_mesh(...): Возвращает распределённый TPU mesh, оптимизированный для кольцевых редукций AllReduce.

default_mesh(...): Задаёт mesh устройства DTensor по умолчанию для заключённых в него функций.

device_name(...): Возвращает имя единственного устройства DTensor.

enable_save_as_bf16(...): Позволяет сохранять контрольные точки DVariable типа float32 и восстанавливать их как bfloat16.

fetch_layout(...): Получает компоновку DTensor.

full_job_name(...): Возвращает полное имя задания TF для этой или другой задачи.

get_default_mesh(...): Возвращает mesh по умолчанию в текущем контексте устройства dtensor.

heartbeat_enabled(...): Возвращает true, если служба проверки активности DTensor включена.

initialize_accelerator_system(...): Инициализирует ускорители и коммуникационные интерфейсы для DTensor.

initialize_multi_client(...): Инициализирует ускорители и коммуникационные интерфейсы для DTensor.

initialize_tpu_system(...): Инициализирует ускорители и коммуникационные интерфейсы для DTensor.

is_dtensor(...): Проверяет, является ли входной тензор объектом DTensor.

job_name(...): Возвращает имя задания, используемое всеми клиентами в этом кластере DTensor.

jobs(...): Возвращает список имён заданий всех клиентов в этом кластере DTensor.

local_devices(...): Возвращает список спецификаций устройств, настроенных на этом клиенте.

name_based_restore(...): Восстанавливает данные из checkpoint_prefix в DTensor на основе имён.

name_based_save(...): Сохраняет Tensor на основе имени в контрольную точку.

num_clients(...): Возвращает количество клиентов в этом кластере DTensor.

num_global_devices(...): Возвращает количество устройств типа device_type в этом кластере DTensor.

num_local_devices(...): Возвращает количество устройств типа device_type, настроенных на этом клиенте.

pack(...): Объединяет компоненты tf.Tensor в DTensor.

preferred_device_type(...): Возвращает предпочтительный тип устройства для ускорителей.

relayout(...): Изменяет компоновку tensor.

relayout_like(...): Изменяет компоновку tensor, чтобы она совпадала с компоновкой layout_tensor.

run_on(...): Выполняет заключённые в него функции в области действия устройства DTensor. (устарело)

sharded_save(...): Безопасно сохраняет заданные именованные срезы тензора в разделённом виде для нескольких клиентов.

shutdown_accelerator_system(...): Завершает работу системы ускорителей.

shutdown_tpu_system(...): Завершает работу системы ускорителей.

unpack(...): Разбирает DTensor на компоненты tf.Tensor.