tf.data.experimental.service.ShardingPolicy

Определяет, как разделить данные между рабочими узлами службы tf.data.

OFF: Разбиение данных не выполняется. Каждый рабочий узел производит весь набор данных без разделения. В этом режиме рекомендуется перемешивать набор данных недетерминированным способом, чтобы рабочие узлы обрабатывали набор данных в различном порядке. Если рабочие узлы перезапускаются или присоединяются к кластеру во время выполнения задачи, они начнут обработку набора данных с самого начала.

DYNAMIC: Входной набор данных динамически разделяется между рабочими узлами во время выполнения. Каждый рабочий узел получает следующий фрагмент при чтении данных из диспетчера. Данные генерируются недетерминированным образом в этом режиме. Динамическое разделение хорошо работает с кластерами tf.data service с переменным размером, например, когда необходимо автоматически масштабировать рабочие узлы. Динамическое разделение обеспечивает гарантии посещения не более одного раза. Примеры не будут повторяться, но некоторые могут быть пропущены, если рабочий узел tf.data service перезапускается во время обработки файла.

Ниже приведены статические политики разделения. Семантика аналогична tf.data.experimental.AutoShardPolicy. Для этих политик требуется:

• Кластер tf.data service настроен со списком фиксированных рабочих узлов в DispatcherConfig.
• Каждый клиент читает только с локального рабочего узла tf.data service.

Если рабочий узел перезапускается во время выполнения статического разделения, он начнёт обработку своего фрагмента с самого начала.

FILE: Разделение по входным файлам (т.е. каждый рабочий узел получит фиксированный набор файлов для обработки). При выборе этого параметра убедитесь, что файлов не меньше, чем рабочих узлов. Если файлов меньше, чем рабочих узлов, будет генерироваться ошибка во время выполнения.

DATA: Разделение по элементам, производимым набором данных. Каждый рабочий узел обработает весь набор данных и отбросит часть, которая не предназначена для него. Обратите внимание, что для правильного разбиения элементов набора данных набор данных должен производить элементы в детерминированном порядке.

FILE_OR_DATA: Попытка разделения по файлам (FILE), если это не удается, переходит к разделению по данным (DATA).

HINT: Ищет наличие shard(SHARD_HINT, ...), которое рассматривается как заполнитель для замены на shard(num_workers, worker_index).