Модуль: tf.compat.v1.data.experimental

Экспериментальный API для создания конвейеров ввода.

Этот модуль содержит экспериментальные Dataset источники и преобразования, которые можно использовать совместно с API tf.data.Dataset. Обратите внимание, что API tf.data.experimental не имеет таких же гарантий обратной совместимости, как tf.data, но мы предоставим рекомендации по устареванию, прежде чем удалять существующую функциональность.

См. Импорт данных для общего обзора.

Модули

service модуль: API для использования сервиса tf.data.

Классы

class AutoShardPolicy: Представляет тип автоматического фрагментирования, который мы активируем.

class CheckpointInputPipelineHook: Сохраняет состояние конвейера ввода данных каждые N шагов или секунд.

class CsvDataset: Набор данных, состоящий из строк из одного или нескольких CSV-файлов.

class DatasetStructure: Спецификация типа для tf.data.Dataset.

class DistributeOptions: Представляет параметры для распределённой обработки данных.

class MapVectorizationOptions: Представляет параметры для оптимизации MapVectorization.

class OptimizationOptions: Представляет параметры для оптимизации набора данных.

class Optional: Представляет значение, которое может быть или не быть присутствующим.

class OptionalStructure: Спецификация типа для tf.experimental.Optional.

class RandomDataset: A Dataset псевдослучайных значений.

class Reducer: Редуктор используется для сокращения набора элементов.

class SqlDataset: A Dataset, состоящий из результатов запроса SQL.

class StatsAggregator: Состояние ресурс, который агрегирует статистику из одного или нескольких итераторов.

class StatsOptions: Представляет параметры для сбора статистики набора данных с использованием StatsAggregator.

class Structure: Указывает тип значения TensorFlow.

class TFRecordWriter: Записывает набор данных в файл TFRecord.

class ThreadingOptions: Представляет параметры для потоковой обработки набора данных.

Функции

Counter(...): Создаёт Dataset, который считает от start с шагом step.

RaggedTensorStructure(...): УСТАРЕВШАЯ ФУНКЦИЯ

SparseTensorStructure(...): УСТАРЕВШАЯ ФУНКЦИЯ

TensorArrayStructure(...): УСТАРЕВШАЯ ФУНКЦИЯ

TensorStructure(...): УСТАРЕВШАЯ ФУНКЦИЯ

assert_cardinality(...): Проверяет мощность входного набора данных.

bucket_by_sequence_length(...): Преобразование, которое группирует элементы в Dataset по длине.

bytes_produced_stats(...): Записывает количество байтов, произведённых каждым элементом входного набора данных.

cardinality(...): Возвращает мощность dataset, если она известна.

choose_from_datasets(...): Создаёт набор данных, который детерминированно выбирает элементы из datasets.

copy_to_device(...): Преобразование, которое копирует элементы набора данных на указанный target_device.

dense_to_ragged_batch(...): Преобразование, которое группирует разрозненные элементы в tf.RaggedTensor.

dense_to_sparse_batch(...): Преобразование, которое группирует разрозненные элементы в tf.sparse.SparseTensor.

enumerate_dataset(...): Преобразование, которое перечисляет элементы набора данных. (устарело)

from_variant(...): Создаёт набор данных из заданного варианта и структуры.

get_next_as_optional(...): Возвращает tf.experimental.Optional со следующим элементом итератора. (устарело)

get_single_element(...): Возвращает единственный элемент в dataset как вложенную структуру тензоров.

get_structure(...): Возвращает сигнатуру типа для элементов входного набора данных/итератора.

group_by_reducer(...): Преобразование, которое группирует элементы и выполняет уменьшение.

group_by_window(...): Преобразование, которое группирует окна элементов по ключу и уменьшает их.

ignore_errors(...): Создаёт Dataset из другого Dataset и молча игнорирует любые ошибки.

latency_stats(...): Записывает задержку создания каждого элемента входного набора данных.

make_batched_features_dataset(...): Возвращает Dataset словарей характеристик из Example протоколов.

make_csv_dataset(...): Читает CSV-файлы в набор данных.

make_saveable_from_iterator(...): Возвращает SaveableObject для сохранения/восстановления состояния итератора с помощью Saver. (устарело)

map_and_batch(...): Объединённая реализация map и batch. (устарело)

map_and_batch_with_legacy_function(...): Объединённая реализация map и batch (устарело)

parallel_interleave(...): Параллельная версия преобразования Dataset.interleave(). (устарело)

parse_example_dataset(...): Преобразование, которое анализирует Example протоколы в dict тензоров.

prefetch_to_device(...): Преобразование, которое предварительно загружает значения набора данных на указанный device.

rejection_resample(...): Преобразование, которое повторно выбирает набор данных, чтобы достичь целевого распределения.

sample_from_datasets(...): Случайно выбирает элементы из наборов данных в datasets.

scan(...): Преобразование, которое сканирует функцию по входному набору данных.

shuffle_and_repeat(...): Перемешивает и повторяет набор данных, перетасовывая при каждом повторении. (устарело)

snapshot(...): API для сохранения результата входного набора данных.

take_while(...): Преобразование, которое останавливает итерацию набора данных на основе predicate.

to_variant(...): Возвращает вариант, представляющий заданный набор данных.

unbatch(...): Разделяет элементы набора данных на несколько элементов по размерности пакетной обработки. (устарело)

unique(...): Создаёт Dataset из другого Dataset, отбрасывая дубликаты.