Модуль: tf.experimental.dtensor

Общедоступный API для пространства имен tf._api.v2.experimental.dtensor

Классы

class DTensorCheckpoint: Управляет сохранением/восстановлением отслеживаемых значений на диск для DTensor. (устарело)

class DTensorDataset: Набор данных DTensors.

class DVariable: Замена для tf.Variable, которая следует принципу размещения начальных значений.

class Layout: Представляет информацию о расположении DTensor.

class Mesh: Представляет конфигурацию сетки над определённым списком измерений сетки.

Функции

barrier(...): Выполняет барьер в сетке.

call_with_layout(...): Вызывает функцию в области устройства DTensor, если layout не равно None.

check_layout(...): Проверяет, что расположение DTensor является layout.

client_id(...): Возвращает ID этого клиента.

copy_to_mesh(...): Копирует tf.Tensor на устройство DTensor с заданным расположением.

create_distributed_mesh(...): Создаёт распределённую сетку.

create_mesh(...): Создаёт сетку для одного клиента.

create_tpu_mesh(...): Возвращает распределённую сетку TPU, оптимизированную для сокращений AllReduce с кольцевыми уменьшениями.

default_mesh(...): Устанавливает стандартную сетку устройств DTensor для использования в заключённых функциях.

device_name(...): Возвращает имя устройства DTensor.

enable_save_as_bf16(...): Разрешает сохранение и восстановление float32 DVariables как bfloat16.

fetch_layout(...): Получает расположение DTensor.

full_job_name(...): Возвращает полное имя задачи TF для этой или другой задачи.

get_default_mesh(...): Возвращает стандартную сетку в текущем контексте устройства dtensor.

heartbeat_enabled(...): Возвращает true, если служба сердечногобиения DTensor включена.

initialize_accelerator_system(...): Инициализирует ускорители и каналы связи для DTensor.

initialize_multi_client(...): Инициализирует ускорители и каналы связи для DTensor.

initialize_tpu_system(...): Инициализирует ускорители и каналы связи для DTensor.

is_dtensor(...): Проверка, является ли входной тензор DTensor.

job_name(...): Возвращает имя задачи, используемое всеми клиентами в этом кластере DTensor.

jobs(...): Возвращает список имён задач всех клиентов в этом кластере DTensor.

local_devices(...): Возвращает список спецификаций устройств, настроенных на этом клиенте.

name_based_restore(...): Восстанавливает данные из checkpoint_prefix для DTensors, основанных на именах.

name_based_save(...): Сохраняет тензоры, основанные на именах, в контрольную точку.

num_clients(...): Возвращает количество клиентов в этом кластере DTensor.

num_global_devices(...): Возвращает количество устройств типа device_type в этом кластере DTensor.

num_local_devices(...): Возвращает количество устройств типа device_type, настроенных на этом клиенте.

pack(...): Упаковывает компоненты tf.Tensor в DTensor.

preferred_device_type(...): Возвращает предпочтительный тип устройства для ускорителей.

relayout(...): Изменяет расположение tensor.

relayout_like(...): Изменяет расположение tensor на такое же, как у layout_tensor.

run_on(...): Выполняет заключённые функции в области устройства DTensor. (устарело)

sharded_save(...): Сохраняет указанные фрагменты тензоров с именами раздельным, безопасным для многоклиентской среды способом.

shutdown_accelerator_system(...): Выключает систему ускорителей.

shutdown_tpu_system(...): Выключает систему ускорителей.

unpack(...): Разбирает DTensor на компоненты tf.Tensor.