tf.keras.layers.experimental.preprocessing.TextVectorization

Слой векторной обработки текста.

tf.keras.layers.experimental.preprocessing.TextVectorization(
    max_tokens=None, standardize=LOWER_AND_STRIP_PUNCTUATION,
    split=SPLIT_ON_WHITESPACE, ngrams=None, output_mode=INT,
    output_sequence_length=None, pad_to_max_tokens=True, **kwargs
)

Этот слой предоставляет базовые возможности управления текстом в модели Keras. Он преобразует пакет строк (один образец = одна строка) в список индексов токенов (один образец = 1D тензор целых индексов токенов) или плотное представление (один образец = 1D тензор числовых значений, представляющих данные о токенах образца).

Если требуется, пользователь может вызвать метод adapt() этого слоя на наборе данных. При адаптации этого слоя он проанализирует набор данных, определит частоту отдельных строковых значений и создаст «словарь» из них. Этот словарь может иметь неограниченный размер или быть ограничен, в зависимости от параметров конфигурации этого слоя; если уникальных значений во входных данных больше, чем максимальный размер словаря, для создания словаря будут использоваться наиболее часто встречающиеся термины.

Обработка каждого образца включает следующие шаги:

1. стандартизация каждого образца (обычно приведение к нижнему регистру + удаление знаков препинания)
2. разделение каждого образца на подстроки (обычно слова)
3. соединение подстрок в токены (обычно n-граммы)
4. индексирование токенов (присвоение уникального целочисленного значения каждому токену)
5. преобразование каждого образца с использованием этого индекса, либо в вектор целых чисел, либо в плотный вектор с плавающей точкой.

Некоторые замечания по передаче вызываемых функций для настройки разделения и нормализации для этого слоя:

1. Любая вызываемая функция может быть передана в этот слой, но если вы хотите сериализовать этот объект, вы должны передавать только функции, зарегистрированные как сериализуемые Keras (см. tf.keras.utils.register_keras_serializable для получения более подробной информации).
2. При использовании пользовательской вызываемой функции для standardize, данные, полученные вызываемой функцией, будут точно такими же, как переданы в этот слой. Вызываемая функция должна возвращать тензор с такой же формой, как вход.
3. При использовании пользовательской вызываемой функции для split, данные, полученные вызываемой функцией, будут иметь сжатую первую размерность - вместо [["string to split"], ["another string to split"]], вызываемая функция увидит ["string to split", "another string to split"]. Вызываемая функция должна возвращать тензор с первой размерностью, содержащей разделенные токены - в этом примере мы должны увидеть что-то вроде [["string", "to", "split], ["another", "string", "to", "split"]]. Это делает вызываемую функцию совместимой с tf.strings.split().

Пример:

В этом примере создается слой TextVectorization, который преобразует текст в нижний регистр, разделяет по пробелам, удаляет знаки препинания и выводит целочисленные индексы словаря.

text_dataset = tf.data.Dataset.from_tensor_slices(["foo", "bar", "baz"])
max_features = 5000  # Maximum vocab size.
max_len = 4  # Sequence length to pad the outputs to.
embedding_dims = 2

# Create the layer.
vectorize_layer = TextVectorization(
 max_tokens=max_features,
 output_mode='int',
 output_sequence_length=max_len)

# Now that the vocab layer has been created, call `adapt` on the text-only
# dataset to create the vocabulary. You don't have to batch, but for large
# datasets this means we're not keeping spare copies of the dataset.
vectorize_layer.adapt(text_dataset.batch(64))

# Create the model that uses the vectorize text layer
model = tf.keras.models.Sequential()

# Start by creating an explicit input layer. It needs to have a shape of
# (1,) (because we need to guarantee that there is exactly one string
# input per batch), and the dtype needs to be 'string'.
model.add(tf.keras.Input(shape=(1,), dtype=tf.string))

# The first layer in our model is the vectorization layer. After this
# layer, we have a tensor of shape (batch_size, max_len) containing vocab
# indices.
model.add(vectorize_layer)

# Now, the model can map strings to integers, and you can add an embedding
# layer to map these integers to learned embeddings.
input_data = [["foo qux bar"], ["qux baz"]]
model.predict(input_data)
array([[2, 1, 4, 0],
       [1, 3, 0, 0]])

Методы

adapt

Просмотреть исходный код

adapt(
    data, reset_state=True
)

Определяет состояние слоя предобработки по набору данных.

Переопределяет метод adapt по умолчанию для применения соответствующей предобработки к входам перед передачей в объединяющий блок.

get_vocabulary

Просмотреть исходный код

get_vocabulary()

set_vocabulary

Просмотреть исходный код

set_vocabulary(
    vocab, df_data=None, oov_df_value=None
)

Устанавливает данные словаря (и, необязательно, частоты документов) для этого слоя.

Этот метод непосредственно устанавливает данные словаря и DF для этого слоя вместо анализа набора данных через 'adapt'. Он должен использоваться всякий раз, когда информация о словаре (и, необязательно, частотах документов) уже известна. Если данные словаря уже присутствуют в слое, этот метод заменит их.