tf.experimental.dtensor.sharded_save

Сохраняет указанные именованные тензорные срезы в раздробленном, безопасном для многоклиентского использования формате.

tf.experimental.dtensor.sharded_save(
    mesh: tf.experimental.dtensor.Mesh,
    file_prefix: Union[str, tf.Tensor],
    tensor_names: Union[List[str], tf.Tensor],
    shape_and_slices: Union[List[str], tf.Tensor],
    tensors: List[Union[tensor_lib.Tensor, tf_variables.Variable]]
)

Метод гарантирует корректное состояние каталога контрольных точек при сохранении в раздробленном режиме с множеством клиентов. В частности, после SaveV2 устанавливается барьер, чтобы гарантировать, что каждый клиент завершил запись файлов. И еще один барьер после MergeV2Checkpoints, чтобы убедиться, что вся метаданные корректно слиты.

После завершения сохранения контрольная точка завершается, и все операции с каталогом завершаются.