tf.keras.layers.TextVectorization

Слой предобработки, который отображает текстовые признаки в целочисленные последовательности.

Наследуется от: Layer, Operation

tf.keras.layers.TextVectorization(
    max_tokens=None,
    standardize='lower_and_strip_punctuation',
    split='whitespace',
    ngrams=None,
    output_mode='int',
    output_sequence_length=None,
    pad_to_max_tokens=False,
    vocabulary=None,
    idf_weights=None,
    sparse=False,
    ragged=False,
    encoding='utf-8',
    name=None,
    **kwargs
)

Используется в ноутбуках

Этот слой имеет базовые возможности для управления текстом в модели Keras. Он преобразует пакет строк (один пример = одна строка) в список индексов токенов (один пример = 1D тензор целочисленных индексов токенов) или плотное представление (один пример = 1D тензор вещественных значений, представляющих данные о токенах примера). Этот слой предназначен для обработки входных данных естественного языка. Для обработки простых строковых входных данных (категориальных строк или предварительно токенизированных строк) см. kers_core.layers.StringLookup.

Словарь для слоя должен быть либо задан при создании, либо обучен с помощью adapt(). Когда этот слой адаптирован, он проанализирует набор данных, определит частоту отдельных строковых значений и создаст словарь из них. Этот словарь может иметь неограниченный размер или быть ограниченным, в зависимости от параметров конфигурации этого слоя; если количество уникальных значений во входных данных больше, чем максимальный размер словаря, для создания словаря будут использоваться наиболее частотные термины.

Обработка каждого примера включает следующие шаги:

1. Стандартизация каждого примера (обычно приведение к нижнему регистру + удаление знаков препинания)
2. Разделение каждого примера на подстроки (обычно слова)
3. Объединение подстрок в токены (обычно n-граммы)
4. Индексирование токенов (присвоение уникального целочисленного значения каждому токену)
5. Преобразование каждого примера с помощью этого индекса, либо в вектор целых чисел, либо в плотный вектор с плавающей точкой.

Некоторые замечания о передаче вызываемых функций для настройки разделения и нормализации для этого слоя:

1. Любая вызываемая функция может быть передана в этот слой, но если вы хотите сериализовать этот объект, вы должны передать только функции, зарегистрированные как сериализуемые Keras (подробнее см. keras.saving.register_keras_serializable).
2. При использовании пользовательской вызываемой функции для standardize, данные, получаемые вызываемой функцией, будут точно такими же, как переданы в этот слой. Вызываемая функция должна вернуть тензор той же формы, что и входные данные.
3. При использовании пользовательской вызываемой функции для split, данные, получаемые вызываемой функцией, будут иметь сжатый первый размер — вместо [["string to split"], ["another string to split"]], вызываемая функция увидит ["string to split", "another string to split"]. Вызываемая функция должна вернуть tf.Tensor типа string с первым измерением, содержащим разделенные токены — в этом примере мы должны увидеть что-то вроде [["string", "to", "split"], ["another", "string", "to", "split"]].

Примечание: Этот слой использует TensorFlow внутри. Он не может использоваться в составе скомпилированной вычислительной схемы модели с любым другим бэкэндом, кроме TensorFlow. Однако он может использоваться с любым бэкэндом при работе в режиме eager. Он также всегда может использоваться в составе конвейера предобработки входных данных с любым бэкэндом (вне самой модели), что и рекомендуется.

Примечание: Этот слой можно безопасно использовать внутри конвейера tf.data (независимо от используемого бэкенда).

Примеры:

В этом примере создаётся слой TextVectorization, который переводит текст в нижний регистр, разделяет по пробелам, удаляет знаки препинания и выводит целочисленные индексы словаря.

max_tokens = 5000  # Maximum vocab size.
max_len = 4  # Sequence length to pad the outputs to.
# Create the layer.
vectorize_layer = TextVectorization(
    max_tokens=max_tokens,
    output_mode='int',
    output_sequence_length=max_len)

# Now that the vocab layer has been created, call `adapt` on the
# list of strings to create the vocabulary.
vectorize_layer.adapt(["foo bar", "bar baz", "baz bada boom"])

# Now, the layer can map strings to integers -- you can use an
# embedding layer to map these integers to learned embeddings.
input_data = [["foo qux bar"], ["qux baz"]]
vectorize_layer(input_data)
array([[4, 1, 3, 0],
       [1, 2, 0, 0]])

Этот пример создаёт слой TextVectorization, передавая список терминов словаря в метод __init__() слоя.

vocab_data = ["earth", "wind", "and", "fire"]
max_len = 4  # Sequence length to pad the outputs to.
# Create the layer, passing the vocab directly. You can also pass the
# vocabulary arg a path to a file containing one vocabulary word per
# line.
vectorize_layer = keras.layers.TextVectorization(
    max_tokens=max_tokens,
    output_mode='int',
    output_sequence_length=max_len,
    vocabulary=vocab_data)

# Because we've passed the vocabulary directly, we don't need to adapt
# the layer - the vocabulary is already set. The vocabulary contains the
# padding token ('') and OOV token ('[UNK]')
# as well as the passed tokens.
vectorize_layer.get_vocabulary()
['', '[UNK]', 'earth', 'wind', 'and', 'fire']

Методы

adapt

Просмотреть исходный код

adapt(
    data, batch_size=None, steps=None
)

Вычисляет словарь строковых терминов из токенов в наборе данных.

Вызов метода adapt() на слое TextVectorization — это альтернатива передаче предварительно вычисленного словаря при создании через аргумент vocabulary. Слой TextVectorization всегда должен быть адаптирован к набору данных или содержать словарь.

Во время adapt(), слой создаст словарь всех строковых токенов, увиденных в наборе данных, отсортированных по количеству вхождений, при равенстве вхождений — по порядку токенов (от большего к меньшему). В конце adapt(), если max_tokens установлено, словарь будет усечен до размера max_tokens. Например, адаптация слоя с max_tokens=1000 вычислит 1000 самых часто встречающихся токенов в наборе данных. Если output_mode='tf-idf', adapt() также вычислит частоты документов для каждого токена в наборе данных.

finalize_state

Просмотреть исходный код

finalize_state()

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создаёт слой по его конфигурации.

Этот метод — обратный get_config, способный создать тот же слой из словаря конфигурации. Он не обрабатывает связность слоёв (обрабатывается сетью), ни веса (обрабатываются set_weights).

get_vocabulary

Просмотреть исходный код

get_vocabulary(
    include_special_tokens=True
)

Возвращает текущий словарь слоя.

load_assets

Просмотреть исходный код

load_assets(
    dir_path
)

reset_state

Просмотреть исходный код

reset_state()

save_assets

Просмотреть исходный код

save_assets(
    dir_path
)

set_vocabulary

Просмотреть исходный код

set_vocabulary(
    vocabulary, idf_weights=None
)

Устанавливает словарь (и, необязательно, частоты документов) для данного слоя.

Этот метод устанавливает словарь и веса IDF для данного слоя напрямую, вместо анализа набора данных через adapt(). Его следует использовать всякий раз, когда информация о словаре (и, необязательно, частоты документов) уже известна. Если данные словаря уже присутствуют в слое, этот метод их замещает.

symbolic_call

Просмотреть исходный код

symbolic_call(
    *args, **kwargs
)

update_state

Просмотреть исходный код

update_state(
    data
)

vocabulary_size

Просмотреть исходный код

vocabulary_size()

Получает текущий размер словаря слоя.