Модуль: tf.contrib.data

Экспериментальный API для построения конвейеров ввода данных.

Этот модуль содержит экспериментальные Dataset источники и преобразования, которые можно использовать совместно с API tf.data.Dataset. Обратите внимание, что API tf.contrib.data не подчиняется тем же гарантиям обратной совместимости, что и tf.data, но мы предоставим рекомендации по устареванию до удаления существующих функций.

См. Импорт данных для обзора.

Классы

class CheckpointInputPipelineHook: Сохраняет состояние конвейера ввода данных каждые N шагов или секунд.

class CsvDataset: Набор данных, состоящий из строк одного или нескольких CSV-файлов.

class LMDBDataset: Набор данных LMDB, который считывает файл lmdb.

class Optional: Оборачивает значение, которое может/не может присутствовать во время выполнения.

class RandomDataset: Dataset псевдослучайных значений.

class Reducer: Редуктор используется для уменьшения набора элементов.

class SqlDataset: Dataset набор данных, состоящий из результатов запроса SQL.

class TFRecordWriter: Запись данных в файл TFRecord.

Функции

Counter(...): Создаёт Dataset, который считает от start с шагом step. (устарело)

assert_element_shape(...): Проверка формы этого Dataset.

batch_and_drop_remainder(...): Преобразование группировки, которое пропускает последний небольшой пакет (если он есть). (устарело)

bucket_by_sequence_length(...): Преобразование, которое группирует элементы в Dataset по длине. (устарело)

choose_from_datasets(...): Создаёт набор данных, который детерминированно выбирает элементы из datasets. (устарело)

copy_to_device(...): Преобразование, которое копирует элементы набора данных на указанное target_device. (устарело)

dense_to_sparse_batch(...): Преобразование, которое группирует разреженные элементы в tf.SparseTensor. (устарело)

enumerate_dataset(...): Преобразование, которое нумерует элементы набора данных. (устарело)

get_next_as_optional(...): Возвращает Optional, содержащий следующее значение из итератора.

get_single_element(...): Возвращает единственный элемент в dataset как вложенную структуру тензоров. (устарело)

group_by_reducer(...): Преобразование, которое группирует элементы и выполняет редукцию. (устарело)

group_by_window(...): Преобразование, которое группирует окна элементов по ключу и уменьшает их. (устарело)

ignore_errors(...): Создаёт Dataset из другого Dataset и молча игнорирует любые ошибки. (устарело)

make_batched_features_dataset(...): Возвращает Dataset словарей характеристик из Example протоколов. (устарело)

make_csv_dataset(...): Считывает CSV-файлы в набор данных. (устарело)

make_saveable_from_iterator(...): Возвращает SaveableObject для сохранения/восстановления состояния итератора с помощью Saver. (устарело)

map_and_batch(...): Объединённая реализация map и batch. (устарело)

padded_batch_and_drop_remainder(...): Преобразование группировки и заполнения, которое пропускает последний небольшой пакет. (устарело)

parallel_interleave(...): Параллельная версия преобразования Dataset.interleave(). (устарело)

parse_example_dataset(...): Преобразование, которое анализирует Example протоколы в dict тензоров. (устарело)

prefetch_to_device(...): Преобразование, которое предварительно загружает значения набора данных в указанное device. (устарело)

read_batch_features(...): Считывает пакеты примеров. (устарело)

reduce_dataset(...): Возвращает результат сокращения dataset с помощью reducer. (устарело)

rejection_resample(...): Преобразование, которое пересэмплирует набор данных, чтобы достичь целевого распределения. (устарело)

sample_from_datasets(...): Случайно выбирает элементы из наборов данных в datasets. (устарело)

scan(...): Преобразование, которое выполняет сканирование функции по входному набору данных. (устарело)

shuffle_and_repeat(...): Перемешивает и повторяет набор данных, возвращая новую перестановку для каждой эпохи. (устарело)

sliding_window_batch(...): Сдвижное окно по набору данных. (устарело) (устаревшие аргументы)

sloppy_interleave(...): Недетерминированная версия преобразования Dataset.interleave(). (устарело)

unbatch(...): Разделяет элементы набора данных на несколько элементов по размеру пакета. (устарело)

unique(...): Создаёт Dataset из другого Dataset, отбрасывая дубликаты. (устарело)

Другие члены

• AUTOTUNE = -1