tf.data.experimental.DistributeOptions
| Просмотреть исходный код на GitHub |
Представляет параметры для распределённой обработки данных.
tf.data.experimental.DistributeOptions()
Вы можете установить параметры распределения набора данных через свойство experimental_distribute tf.data.Options; это свойство — экземпляр tf.data.experimental.DistributeOptions.
options = tf.data.Options() options.experimental_distribute.auto_shard_policy = AutoShardPolicy.OFF dataset = dataset.with_options(options)
| Атрибуты | |
|---|---|
auto_shard_policy | Тип фрагментации, которую должна выполнить автоматическая фрагментация. Если это FILE, то мы попытаемся разбить данные по файлам (каждый рабочий получит набор файлов для обработки). Если мы не сможем найти набор файлов для фрагментации по крайней мере для одного файла на рабочий, то произойдёт ошибка. Если выбрано это значение, убедитесь, что у вас достаточно файлов, чтобы каждый рабочий получил по крайней мере один файл. Если файлов недостаточно, произойдёт ошибка во время выполнения. Если это DATA, то мы разделим данные по элементам, производимым набором данных, и каждый рабочий обработает весь набор данных и отбросит часть, не относящуюся к нему. Если это OFF, то мы не будем выполнять автоматическую фрагментацию, и каждый рабочий получит копию всего набора данных. По умолчанию это значение AUTO, AUTO попытается сначала разбить данные по файлам, а затем по данным, если мы не сможем найти набор файлов для фрагментации. |
num_devices | Количество устройств, подключенных к этому входному конвейеру. Это значение будет автоматически установлено MultiDeviceIterator. |
Методы
__eq__
__eq__(
other
)
Возвращает self==value.
__ne__
__ne__(
other
)
Возвращает self!=value.
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/data/experimental/DistributeOptions
