tf.data.Options
Представляет параметры для tf.data.Dataset.
tf.data.Options()
Используется в блокнотах
| Используется в учебных материалах |
|---|
Объект tf.data.Options можно использовать, например, для управления тем, какие статические оптимизации следует применить к графу конвейера ввода, или для определения необходимости использовать моделирование производительности, чтобы динамически настраивать параллелизм таких операций, как tf.data.Dataset.map или tf.data.Dataset.interleave.
Параметры задаются для всего набора данных и сохраняются для наборов данных, созданных с помощью преобразований tf.data.
Параметры можно задать, создав объект Options и применив преобразование tf.data.Dataset.with_options(options), которое возвращает набор данных с заданными параметрами.
dataset = tf.data.Dataset.range(42) options = tf.data.Options() options.deterministic = False dataset = dataset.with_options(options) print(dataset.options().deterministic) False
Примечание: Известное ограничение реализации tf.data.Options заключается в том, что параметры не сохраняются при переходе через границы tf.function. В частности, чтобы задать параметры для набора данных, итерация по которому выполняется внутри tf.function, их нужно задать внутри той же tf.function.
| Атрибуты | |
|---|---|
autotune | Параметры автоматической настройки, связанные с набором данных. Подробнее см. в разделе tf.data.experimental.AutotuneOptions. |
dataset_name | Имя набора данных, помогающее при отладке. |
deterministic | Нужно ли выдавать результаты в детерминированном порядке. Если значение равно None, по умолчанию используется True. |
experimental_deterministic | УСТАРЕЛО. Вместо этого используйте deterministic. |
experimental_distribute | Параметры стратегии распределения, связанные с набором данных. Подробнее см. в разделе tf.data.experimental.DistributeOptions. |
experimental_external_state_policy | Этот параметр позволяет переопределить политику по умолчанию для обработки внешнего состояния при сериализации набора данных или создании контрольной точки его итератора. Доступны три значения: IGNORE — внешнее состояние игнорируется без предупреждения; WARN — внешнее состояние игнорируется и записывается предупреждение; FAIL — наличие внешнего состояния приводит к ошибке. |
experimental_optimization | Параметры оптимизации, связанные с набором данных. Подробнее см. в разделе tf.data.experimental.OptimizationOptions. |
experimental_slack | Следует ли добавлять «slack» в последний prefetch конвейера ввода, если он существует. Это может снизить конкуренцию за ресурсы ЦП с активностью ускорителя на стороне хоста в начале шага. Частота «slack» определяется количеством устройств, подключенных к этому конвейеру ввода. Если значение равно None, по умолчанию используется False. |
experimental_symbolic_checkpoint | Следует ли создавать контрольную точку внутреннего состояния конвейера ввода, поддерживающего курсоры в источниках данных, которые указывают последний элемент или элементы, выданные в качестве результата потребителю tf.data. Это альтернативный вариант контрольных точек по умолчанию — «явного» сохранения внутреннего состояния конвейера ввода в контрольной точке. Обратите внимание, что символьные контрольные точки не поддерживаются для преобразований, способных менять порядок элементов. |
experimental_threading | УСТАРЕЛО. Вместо этого используйте threading. |
experimental_warm_start | Следует ли запускать фоновые потоки асинхронных преобразований при создании итератора, а не во время первого вызова next(). По умолчанию используется False. Это уменьшает задержку при первых вызовах «next()», но требует больше памяти для хранения предварительно загруженных элементов между созданием итератора и началом его использования. |
framework_type | Список фреймворков, использованных для создания этого конвейера; применяется для телеметрии. |
threading | Параметры потоков, связанные с набором данных. Подробнее см. в разделе tf.data.ThreadingOptions. |
Методы
merge
merge(
options
)
Объединяет этот объект с указанным объектом tf.data.Options.
Если для этого объекта и объекта options, с которым выполняется объединение, задано разное значение параметра, генерируется предупреждение, а значение этого объекта заменяется значением объекта options.
| Аргументы | |
|---|---|
options | Объект tf.data.Options, с которым выполняется объединение. |
| Возвращает | |
|---|---|
Новый объект tf.data.Options, полученный в результате объединения этого объекта с входным объектом tf.data.Options. |
__eq__
__eq__(
other
)
Возвращает результат сравнения self==value.
__ne__
__ne__(
other
)
Возвращает результат сравнения self!=value.
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/data/Options