tf.data.experimental.AutoShardPolicy

Представляет тип автоматического фрагментирования для использования.

Просмотр псевдонимов

Псевдонимы для миграции

Дополнительные сведения см. в руководстве по миграции.

tf.compat.v1.data.experimental.AutoShardPolicy

OFF: Фрагментирование не будет выполнено.

AUTO: Попытка фрагментирования на основе ФАЙЛОВ, переходя к фрагментированию на основе ДАННЫХ.

FILE: Фрагментирование по входным файлам (т.е. каждый рабочий получит набор файлов для обработки). При выборе этого параметра убедитесь, что файлов не меньше, чем рабочих. Если файлов меньше, чем рабочих, произойдет ошибка во время выполнения.

DATA: Фрагментирование по элементам, создаваемым набором данных. Каждый рабочий обработает весь набор данных и отбросит часть, которая не предназначена для него. Обратите внимание, что для правильного разбиения элементов набора данных набор данных должен генерировать элементы в детерминированном порядке.

HINT: Ищет наличие shard(SHARD_HINT, ...), которое рассматривается как заполнитель для замены на shard(num_workers, worker_index).

Переменные класса
AUTO	`<AutoShardPolicy.AUTO: 0>`
DATA	`<AutoShardPolicy.DATA: 2>`
FILE	`<AutoShardPolicy.FILE: 1>`
HINT	`<AutoShardPolicy.HINT: 3>`
OFF	`<AutoShardPolicy.OFF: -1>`

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/data/experimental/AutoShardPolicy