tf.experimental.dtensor.create_distributed_mesh

Создает распределенную mesh-сеть.

tf.experimental.dtensor.create_distributed_mesh(
    mesh_dims: Union[List[Tuple[str, int]], Dict[str, int]],
    mesh_name: str = '',
    local_devices: Optional[List[Union[tf_device.DeviceSpec, str]]] = None,
    device_type: Optional[str] = None,
    use_xla_spmd: bool = layout.USE_XLA_SPMD
) -> tf.experimental.dtensor.Mesh

Эта функция аналогична create_mesh, но принимает другой набор аргументов для создания mesh-сети, равномерно распределенной по кластеру DTensor с несколькими клиентами.

Для mesh-сетей CPU и GPU можно использовать меньше локальных устройств, чем доступно local_devices.

Для TPU среда выполнения DTensor поддерживает только mesh-сети, использующие все ядра TPU.

Аргументы
`mesh_dims`	Словарь dim_name: dim_size или список кортежей (dim_name, dim_size), например `{'x' : 4, 'y' : 1}` или `[('x', 4), ('y', 1)]`.
`mesh_name`	Имя созданной mesh-сети. По умолчанию — ''.
`local_devices`	Строковые представления используемых устройств. Это часть устройства в tf.DeviceSpec, например 'CPU:0'. По умолчанию используются все доступные локальные логические устройства.
`device_type`	Тип устройства, для которого создается mesh-сеть. По умолчанию — 'CPU'. Поддерживаемые значения: 'CPU', 'GPU', 'TPU'.6
`use_xla_spmd`	Если значение равно True, вместо DTensor SPMD будет использоваться XLA SPMD.

Возвращает
Mesh-сеть, равномерно распределенную по всем клиентам DTensor в кластере.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/experimental/dtensor/create_distributed_mesh