tf.keras.utils.text_dataset_from_directory

Генерирует tf.data.Dataset из текстовых файлов в директории.

Просмотр псевдонимов

Основные псевдонимы

tf.keras.preprocessing.text_dataset_from_directory

tf.keras.utils.text_dataset_from_directory(
    directory,
    labels='inferred',
    label_mode='int',
    class_names=None,
    batch_size=32,
    max_length=None,
    shuffle=True,
    seed=None,
    validation_split=None,
    subset=None,
    follow_links=False
)

Если структура вашей директории:

main_directory/
...class_a/
......a_text_1.txt
......a_text_2.txt
...class_b/
......b_text_1.txt
......b_text_2.txt

Тогда вызов text_dataset_from_directory(main_directory, labels='inferred') вернёт tf.data.Dataset, который выдаёт пакеты текстов из поддиректорий class_a и class_b, вместе с метками 0 и 1 (0 соответствует class_a и 1 соответствует class_b).

В настоящее время поддерживаются только .txt файлы.

Аргументы
`directory`	Директория, где расположены данные. Если `labels` равно "inferred", она должна содержать поддиректории, каждая из которых содержит текстовые файлы для класса. В противном случае структура директорий игнорируется.
`labels`	Либо "inferred" (метки генерируются из структуры директории), None (нет меток), или список/кортеж целочисленных меток того же размера, что и количество текстовых файлов, найденных в директории. Метки должны быть отсортированы в соответствии с алфавитно-цифровым порядком путей к текстовым файлам (полученные через `os.walk(directory)` в Python).
`label_mode`	Строка, описывающая кодировку `labels`. Варианты: 'int': означает, что метки закодированы как целые числа (например, для `sparse_categorical_crossentropy` функции потерь). 'categorical' означает, что метки закодированы как категорический вектор (например, для `categorical_crossentropy` функции потерь). 'binary' означает, что метки (могут быть только 2) закодированы как `float32` скаляры со значениями 0 или 1 (например, для `binary_crossentropy`). None (нет меток).
`class_names`	Только если "метки" равны "inferred". Это явный список имён классов (должны совпадать с именами поддиректорий). Используется для управления порядком классов (в противном случае используется алфавитно-цифровой порядок).
`batch_size`	Размер пакетов данных. По умолчанию: 32. Если `None`, данные не будут разделены на пакеты (набор данных будет выдавать отдельные образцы).
`max_length`	Максимальный размер текстовой строки. Строки, длиннее этого, будут усечены до `max_length`.
`shuffle`	Перемешивать ли данные. По умолчанию: True. Если установлено в False, сортирует данные в алфавитно-цифровом порядке.
`seed`	Необязательное случайное семя для перемешивания и преобразований.
`validation_split`	Необязательное число с плавающей запятой от 0 до 1, доля данных для резервирования для проверки.
`subset`	Подмножество данных для возврата. Одно из "training" или "validation". Используется только если `validation_split` установлено.
`follow_links`	Нужно ли посещать поддиректории, на которые указывают символьные ссылки. По умолчанию False.

Возвращаемое значение

Возвращаемое значение
Объект `tf.data.Dataset`. Если `label_mode` равно None, он выдает `string` тензоры формы `(batch_size,)`, содержащие содержимое пакета текстовых файлов. В противном случае он выдает кортеж `(texts, labels)`, где `texts` имеет форму `(batch_size,)` и `labels` следует формату, описанному ниже.

Объект tf.data.Dataset.

Если label_mode равно None, он выдает string тензоры формы (batch_size,), содержащие содержимое пакета текстовых файлов.
В противном случае он выдает кортеж (texts, labels), где texts имеет форму (batch_size,) и labels следует формату, описанному ниже.

Правила относительно формата меток:

если label_mode равно int, метки - это int32 тензор формы (batch_size,).
если label_mode равно binary, метки - это float32 тензор из 1 и 0 формы (batch_size, 1).
если label_mode равно categorical, метки - это float32 тензор формы (batch_size, num_classes), представляющий собой одноканальное кодирование индекса класса.

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/keras/utils/text_dataset_from_directory