tf.data.experimental.DistributeOptions
| Просмотреть исходный код на GitHub |
Представляет параметры для распределённой обработки данных.
tf.data.experimental.DistributeOptions()
Вы можете задать параметры распределения набора данных через свойство experimental_distribute объекта tf.data.Options; свойство является экземпляром tf.data.experimental.DistributeOptions.
options = tf.data.Options() options.experimental_distribute.auto_shard_policy = AutoShardPolicy.OFF dataset = dataset.with_options(options)
| Атрибуты | |
|---|---|
auto_shard_policy | Тип фрагментации, которую должна выполнить функция auto-shard. Если это значение FILE, то мы попытаемся разбить данные по файлам (каждый рабочий получит набор файлов для обработки). Если мы не сможем найти набор файлов для фрагментации хотя бы по одному файлу на рабочий, мы вернём ошибку. При использовании этого параметра убедитесь, что у вас достаточно файлов, чтобы каждый рабочий получил хотя бы один файл. В противном случае будет выброшено исключение во время выполнения. Если это значение DATA, то мы будем фрагментировать данные по элементам, производимым набором данных, и каждый рабочий обработает весь набор данных, а затем отбросит часть, которая ему не принадлежит. Если это значение OFF, то мы не будем выполнять автоматическую фрагментацию, и каждый рабочий получит копию всего набора данных. По умолчанию этот параметр AUTO; AUTO попытается сначала разбить данные по файлам, а затем по данным, если не удаётся найти набор файлов для фрагментации. |
num_devices | Количество устройств, подключенных к этой входной обработке. Это значение автоматически устанавливается MultiDeviceIterator. |
Методы
__eq__
__eq__(
other
)
Возвращает self==value.
__ne__
__ne__(
other
)
Возвращает self!=value.
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.4/api_docs/python/tf/data/experimental/DistributeOptions
