tf.data.experimental.AutoShardPolicy

Представляет тип автоматического фрагментирования для использования.

OFF: Фрагментирование не будет выполнено.

AUTO: Попытка фрагментирования на основе файлов, переходя к фрагментированию на основе данных в случае неудачи.

FILE: Фрагментирование по входным файлам (т. е. каждый рабочий получит набор файлов для обработки). При выборе этого параметра убедитесь, что файлов не меньше, чем рабочих процессов. Если файлов меньше, чем рабочих процессов, будет выброшено исключение во время выполнения.

DATA: Фрагментирование по элементам, производимым набором данных. Каждый рабочий будет обрабатывать весь набор данных и отбрасывать часть, которая не предназначена для него. Обратите внимание, что для правильного разделения элементов набора данных набор данных должен генерировать элементы в детерминированном порядке.

HINT: Ищет наличие shard(SHARD_HINT, ...), которое рассматривается как заполнитель для замены на shard(num_workers, worker_index).