tf.experimental.dtensor.sharded_save

Сохраняет заданные именованные срезы тензоров с разбиением на шарды безопасным для нескольких клиентов способом.

tf.experimental.dtensor.sharded_save(
    mesh: tf.experimental.dtensor.Mesh,
    file_prefix: Union[str, tf.Tensor],
    tensor_names: Union[List[str], tf.Tensor],
    shape_and_slices: Union[List[str], tf.Tensor],
    tensors: List[Union[tensor_lib.Tensor, tf_variables.Variable]]
)

Метод обеспечивает корректное состояние каталога контрольной точки при сохранении с разбиением на шарды несколькими клиентами. В частности, после SaveV2 устанавливается барьер, чтобы убедиться, что каждый клиент завершил запись файлов. Еще один барьер устанавливается после MergeV2Checkpoints, чтобы убедиться, что все метаданные объединены должным образом.

После завершения работы контрольная точка сохранена, а все операции с каталогом выполнены.