tf.data.experimental.AutoShardPolicy

Представляет тип автоматического шардинга, который следует использовать.

OFF: шардинг не выполняется.

AUTO: выполняется попытка шардинга на основе FILE с переходом к шардингу на основе DATA в случае неудачи.

FILE: шардинг выполняется по входным файлам (т. е. каждый рабочий процесс получает набор файлов для обработки). При выборе этого параметра убедитесь, что количество файлов не меньше количества рабочих процессов. Если входных файлов меньше, чем рабочих процессов, возникнет ошибка времени выполнения.

DATA: шардинг выполняется по элементам, создаваемым набором данных. Каждый рабочий процесс обрабатывает весь набор данных и отбрасывает ту его часть, которая ему не предназначена. Обратите внимание: чтобы в этом режиме правильно распределять элементы набора данных, набор данных должен создавать элементы в детерминированном порядке.

HINT: выполняется поиск наличия shard(SHARD_HINT, ...), который рассматривается как заполнитель для замены на shard(num_workers, worker_index).