tf.keras.layers.TextVectorization

Слой предобработки, который отображает текстовые признаки в целые последовательности.

Наследуется от: PreprocessingLayer, Layer, Module

tf.keras.layers.TextVectorization(
    max_tokens=None,
    standardize='lower_and_strip_punctuation',
    split='whitespace',
    ngrams=None,
    output_mode='int',
    output_sequence_length=None,
    pad_to_max_tokens=False,
    vocabulary=None,
    idf_weights=None,
    sparse=False,
    ragged=False,
    **kwargs
)

Этот слой предоставляет базовые возможности управления текстом в модели Keras. Он преобразует пакет строк (один пример = одна строка) в список индексов токенов (один пример = 1D тензор целых индексов токенов) или плотное представление (один пример = 1D тензор чисел с плавающей точкой, представляющих данные о токенах примера). Этот слой предназначен для обработки естественного языка. Для обработки простых строковых входных данных (категориальные строки или предварительно токенизированные строки) см. tf.keras.layers.StringLookup.

Словарный запас для слоя должен быть либо задан при создании, либо выучен с помощью adapt(). При адаптации этого слоя он проанализирует набор данных, определит частоту отдельных строковых значений и создаст словарь из них. Этот словарь может иметь неограниченный размер или быть ограничен, в зависимости от параметров конфигурации этого слоя; если количество уникальных значений во входных данных превышает максимальный размер словаря, для создания словаря будут использоваться самые частотные термины.

Обработка каждого примера включает следующие шаги:

1. Стандартизация каждого примера (обычно приведение к нижнему регистру + удаление знаков препинания)
2. Разбиение каждого примера на подстроки (обычно слова)
3. Объединение подстрок в токены (обычно n-граммы)
4. Индексация токенов (присвоение уникального целого значения каждому токену)
5. Преобразование каждого примера с использованием этого индекса, либо в вектор целых чисел, либо в плотный вектор с плавающей точкой.

Некоторые замечания о передаче вызываемых функций для настройки разбиения и нормализации для этого слоя:

1. Любая вызываемая функция может быть передана в этот слой, но если вы хотите сериализовать этот объект, вы должны передавать только функции, зарегистрированные как сериализуемые Keras (см. tf.keras.utils.register_keras_serializable для получения дополнительной информации).
2. При использовании пользовательской вызываемой функции для standardize, данные, получаемые вызываемой функцией, будут точно такими же, как и передаваемые в этот слой. Вызываемая функция должна возвращать тензор той же формы, что и вход.
3. При использовании пользовательской вызываемой функции для split, данные, получаемые вызываемой функцией, будут иметь сжатый первый размер — вместо [["string to split"], ["another string to split"]], вызываемая функция увидит ["string to split", "another string to split"]. Вызываемая функция должна вернуть тензор, содержащий разделенные токены в первом измерении — в этом примере мы должны увидеть что-то вроде [["string", "to", "split"], ["another", "string", "to", "split"]]. Это делает вызываемую функцию совместимой с tf.strings.split().

Обзор и полный список слоев предобработки см. в руководстве по предобработке руководства.

Пример:

В этом примере создается слой TextVectorization , который приводит текст к нижнему регистру, разделяет его по пробелам, удаляет знаки препинания и выводит целые индексы словаря.

text_dataset = tf.data.Dataset.from_tensor_slices(["foo", "bar", "baz"])
max_features = 5000  # Maximum vocab size.
max_len = 4  # Sequence length to pad the outputs to.

# Create the layer.
vectorize_layer = tf.keras.layers.TextVectorization(
 max_tokens=max_features,
 output_mode='int',
 output_sequence_length=max_len)

# Now that the vocab layer has been created, call `adapt` on the text-only
# dataset to create the vocabulary. You don't have to batch, but for large
# datasets this means we're not keeping spare copies of the dataset.
vectorize_layer.adapt(text_dataset.batch(64))

# Create the model that uses the vectorize text layer
model = tf.keras.models.Sequential()

# Start by creating an explicit input layer. It needs to have a shape of
# (1,) (because we need to guarantee that there is exactly one string
# input per batch), and the dtype needs to be 'string'.
model.add(tf.keras.Input(shape=(1,), dtype=tf.string))

# The first layer in our model is the vectorization layer. After this
# layer, we have a tensor of shape (batch_size, max_len) containing vocab
# indices.
model.add(vectorize_layer)

# Now, the model can map strings to integers, and you can add an embedding
# layer to map these integers to learned embeddings.
input_data = [["foo qux bar"], ["qux baz"]]
model.predict(input_data)
array([[2, 1, 4, 0],
       [1, 3, 0, 0]])

Пример:

В этом примере создается слой TextVectorization путем передачи списка терминов словаря методу __init__() слоя.

vocab_data = ["earth", "wind", "and", "fire"]
max_len = 4  # Sequence length to pad the outputs to.

# Create the layer, passing the vocab directly. You can also pass the
# vocabulary arg a path to a file containing one vocabulary word per
# line.
vectorize_layer = tf.keras.layers.TextVectorization(
 max_tokens=max_features,
 output_mode='int',
 output_sequence_length=max_len,
 vocabulary=vocab_data)

# Because we've passed the vocabulary directly, we don't need to adapt
# the layer - the vocabulary is already set. The vocabulary contains the
# padding token ('') and OOV token ('[UNK]') as well as the passed tokens.
vectorize_layer.get_vocabulary()
['', '[UNK]', 'earth', 'wind', 'and', 'fire']

Методы

adapt

Просмотреть исходный код

adapt(
    data, batch_size=None, steps=None
)

Вычисляет словарь строковых терминов из токенов в наборе данных.

Вызов adapt() на слое TextVectorization является альтернативой передаче предварительно вычисленного словаря при создании через аргумент vocabulary. Слой TextVectorization всегда должен быть либо адаптирован к набору данных, либо должен быть снабжен словарем.

Во время adapt(), слой создаст словарь всех строковых токенов, встречающихся в наборе данных, отсортированных по количеству вхождений, при этом совпадения будут решаться в порядке сортировки токенов (от большего к меньшему). В конце adapt(), если max_tokens установлен, словарь будет усечен до размера max_tokens. Например, адаптация слоя с max_tokens=1000 вычислит 1000 самых частотных токенов, встречающихся в наборе данных. Если output_mode='tf-idf', adapt() также выучит частоты документов каждого токена в наборе данных.

Для повышения эффективности TextVectorization в любом контексте распределения, словарь сохраняется статичным относительно любых скомпилированных tf.Graph, которые вызывают слой. В результате, если слой будет адаптирован второй раз, любые модели, использующие этот слой, должны быть перекомпилированы. Для получения дополнительной информации см. tf.keras.layers.experimental.preprocessing.PreprocessingLayer.adapt.

adapt() предназначен только для использования в качестве инструмента на одной машине для вычисления состояния слоя. Для анализа набора данных, который не может поместиться на одной машине, см. Tensorflow Transform для многомашинного решения, основанного на map-reduce.

compile

Просмотреть исходный код

compile(
    run_eagerly=None, steps_per_execution=None
)

Настраивает слой для adapt.

get_vocabulary

Просмотреть исходный код

get_vocabulary(
    include_special_tokens=True
)

Возвращает текущий словарь слоя.

reset_state

Просмотреть исходный код

reset_state()

Сбрасывает статистику слоя предобработки.

set_vocabulary

Просмотреть исходный код

set_vocabulary(
    vocabulary, idf_weights=None
)

Устанавливает данные словаря (и необязательно частоты документов) для этого слоя.

Этот метод напрямую устанавливает словарь и веса idf для этого слоя, вместо анализа набора данных через 'adapt'. Он должен использоваться всякий раз, когда информация о словаре (и необязательно частоты документов) уже известна. Если данные словаря уже присутствуют в слое, этот метод заменит их.

update_state

Просмотреть исходный код

update_state(
    data
)

Накапливает статистику для слоя предобработки.

vocabulary_size

Просмотреть исходный код

vocabulary_size()

Получает текущий размер словаря слоя.