tf.experimental.dtensor.sharded_save

Сохраняет заданные именованные тензорные срезы фрагментированным, безопасным для нескольких клиентов способом.

tf.experimental.dtensor.sharded_save(
    mesh: tf.experimental.dtensor.Mesh,
    file_prefix: Union[str, tf.Tensor],
    tensor_names: Union[List[str], tf.Tensor],
    shape_and_slices: Union[List[str], tf.Tensor],
    tensors: List[Union[ops.Tensor, tf_variables.Variable]]
)

Метод гарантирует правильность состояния каталога контрольных точек при фрагментированном сохранении данными несколькими клиентами. А именно, мы размещаем барьер после SaveV2, чтобы убедиться, что каждый клиент выполнил запись файлов. И ещё один после MergeV2Checkpoints, чтобы убедиться, что вся метаданные должным образом объединены.

После завершения контрольная точка завершается, и все операции с каталогом выполняются.