tf.keras.layers.IntegerLookup

Слой предварительной обработки, преобразующий целые числа в индексы (возможно, закодированные).

Наследуется от: Layer, Operation

tf.keras.layers.IntegerLookup(
    max_tokens=None,
    num_oov_indices=1,
    mask_token=None,
    oov_token=-1,
    vocabulary=None,
    vocabulary_dtype='int64',
    idf_weights=None,
    invert=False,
    output_mode='int',
    sparse=False,
    pad_to_max_tokens=False,
    name=None,
    **kwargs
)

Используется в блокнотах

Этот слой преобразует набор произвольных целочисленных входных токенов в индексированные целочисленные выходные значения с помощью табличного поиска по словарю. Выходные индексы слоя будут располагаться непрерывно вплоть до максимального размера словаря, даже если входные токены не образуют непрерывную последовательность или не ограничены. Слой поддерживает несколько вариантов кодирования выходных данных с помощью output_mode, а также необязательную обработку токенов вне словаря (OOV) и маскирования.

Словарь слоя необходимо передать при создании или получить с помощью adapt(). Во время adapt() слой анализирует набор данных, определяет частоту отдельных целочисленных токенов и формирует из них словарь. Если размер словаря ограничен, для его создания используются наиболее часто встречающиеся токены, а все остальные считаются токенами OOV.

Слой поддерживает два режима вывода. Если output_mode имеет значение "int", входные целые числа преобразуются в их индексы в словаре (целые числа). Если output_mode имеет значение "multi_hot", "count" или "tf_idf", входные целые числа кодируются в массив, где каждое измерение соответствует элементу словаря.

Словарь может содержать токен маски, а также токен OOV (который может занимать несколько индексов в словаре, задаваемых с помощью num_oov_indices). Позиции этих токенов в словаре фиксированы. Если output_mode имеет значение "int", словарь начинается с токена маски с индексом 0, за которым следуют индексы OOV, а затем остальные элементы словаря. Если output_mode имеет значение "multi_hot", "count" или "tf_idf", словарь начинается с индексов OOV, а экземпляры токена маски отбрасываются.

Примечание: Этот слой использует TensorFlow внутри себя. Его нельзя использовать в скомпилированном графе вычислений модели с бэкендом, отличным от TensorFlow. Однако при выполнении в eager-режиме его можно использовать с любым бэкендом. Его также всегда можно использовать в конвейере предварительной обработки входных данных с любым бэкендом (вне самой модели); именно так мы рекомендуем использовать этот слой.

Примечание: Этот слой безопасно использовать внутри конвейера tf.data (независимо от используемого бэкенда).

Примеры:

Создание слоя поиска с известным словарём

В этом примере создаётся слой поиска с заранее подготовленным словарём.

vocab = [12, 36, 1138, 42]
data = np.array([[12, 1138, 42], [42, 1000, 36]])  # Note OOV tokens
layer = IntegerLookup(vocabulary=vocab)
layer(data)
array([[1, 3, 4],
       [4, 0, 2]])

Создание слоя поиска с адаптированным словарём

В этом примере создаётся слой поиска, а словарь формируется на основе анализа набора данных.

data = np.array([[12, 1138, 42], [42, 1000, 36]])
layer = IntegerLookup()
layer.adapt(data)
layer.get_vocabulary()
[-1, 42, 1138, 1000, 36, 12]

Обратите внимание, что токен OOV -1 добавлен в словарь. Остальные токены отсортированы по частоте (на первом месте стоит 42, встречающийся 2 раза), а при равной частоте — в обратном порядке сортировки.

data = np.array([[12, 1138, 42], [42, 1000, 36]])
layer = IntegerLookup()
layer.adapt(data)
layer(data)
array([[5, 2, 1],
       [1, 3, 4]])

Поиск с несколькими индексами OOV

В этом примере показано, как использовать слой поиска с несколькими индексами OOV. Если слой создан более чем с одним индексом OOV, любые токены OOV хешируются с учётом количества корзин OOV, что детерминированным образом распределяет токены OOV по набору корзин.

vocab = [12, 36, 1138, 42]
data = np.array([[12, 1138, 42], [37, 1000, 36]])
layer = IntegerLookup(vocabulary=vocab, num_oov_indices=2)
layer(data)
array([[2, 4, 5],
       [1, 0, 3]])

Обратите внимание: для токена OOV 37 выходное значение равно 1, а для токена OOV 1000 — 0. Выходные индексы терминов из словаря увеличены на 1 по сравнению с предыдущими примерами (12 преобразуется в 2 и т. д.), чтобы освободить место для дополнительного токена OOV.

Однократное кодирование

Настройте слой с помощью output_mode='one_hot'. Обратите внимание, что первые num_oov_indices измерения в однократном кодировании представляют значения OOV.

vocab = [12, 36, 1138, 42]
data = np.array([12, 36, 1138, 42, 7])  # Note OOV tokens
layer = IntegerLookup(vocabulary=vocab, output_mode='one_hot')
layer(data)
array([[0., 1., 0., 0., 0.],
        [0., 0., 1., 0., 0.],
        [0., 0., 0., 1., 0.],
        [0., 0., 0., 0., 1.],
        [1., 0., 0., 0., 0.]], dtype=float32)

Многократное кодирование

Настройте слой с помощью output_mode='multi_hot'. Обратите внимание, что первые num_oov_indices измерения в многократном кодировании представляют токены OOV.

vocab = [12, 36, 1138, 42]
data = np.array([[12, 1138, 42, 42],
                 [42,    7, 36,  7]])  # Note OOV tokens
layer = IntegerLookup(vocabulary=vocab, output_mode='multi_hot')
layer(data)
array([[0., 1., 0., 1., 1.],
       [1., 0., 1., 0., 1.]], dtype=float32)

Вывод количества токенов

Настройте слой с помощью output_mode='count'. Как и при многократном кодировании, первые num_oov_indices измерения в выходных данных представляют токены OOV.

vocab = [12, 36, 1138, 42]
data = np.array([[12, 1138, 42, 42],
                 [42,    7, 36,  7]])  # Note OOV tokens
layer = IntegerLookup(vocabulary=vocab, output_mode='count')
layer(data)
array([[0., 1., 0., 1., 2.],
       [2., 0., 1., 0., 1.]], dtype=float32)

Вывод TF-IDF

Настройте слой с помощью output_mode='tf_idf'. Как и при многократном кодировании, первые num_oov_indices измерения в выходных данных представляют токены OOV.

Для каждой корзины токена выводится token_count * idf_weight, где веса idf — это веса обратной частоты документа для каждого токена. Их следует передавать вместе со словарём. Обратите внимание, что значение idf_weight для токенов OOV по умолчанию равно среднему значению всех переданных весов idf.

vocab = [12, 36, 1138, 42]
idf_weights = [0.25, 0.75, 0.6, 0.4]
data = np.array([[12, 1138, 42, 42],
                 [42,    7, 36,  7]])  # Note OOV tokens
layer = IntegerLookup(
    output_mode='tf_idf', vocabulary=vocab, idf_weights=idf_weights)
layer(data)
array([[0.  , 0.25, 0.  , 0.6 , 0.8 ],
        [1.0 , 0.  , 0.75, 0.  , 0.4 ]], dtype=float32)

Чтобы задать веса idf для токенов OOV, необходимо передать весь словарь, включая начальный токен OOV.

vocab = [-1, 12, 36, 1138, 42]
idf_weights = [0.9, 0.25, 0.75, 0.6, 0.4]
data = np.array([[12, 1138, 42, 42],
                 [42,    7, 36,  7]])  # Note OOV tokens
layer = IntegerLookup(
    output_mode='tf_idf', vocabulary=vocab, idf_weights=idf_weights)
layer(data)
array([[0.  , 0.25, 0.  , 0.6 , 0.8 ],
        [1.8 , 0.  , 0.75, 0.  , 0.4 ]], dtype=float32)

При адаптации слоя в режиме "tf_idf" каждый входной образец считается документом, а вес IDF для каждого токена вычисляется следующим образом: log(1 + num_documents / (1 + token_document_count)).

Обратный поиск

В этом примере показано, как преобразовывать индексы в токены с помощью этого слоя. (Также можно использовать adapt() с inverse=True, но для простоты в этом примере мы передадим словарь.)

vocab = [12, 36, 1138, 42]
data = np.array([[1, 3, 4], [4, 0, 2]])
layer = IntegerLookup(vocabulary=vocab, invert=True)
layer(data)
array([[  12, 1138,   42],
       [  42,   -1,   36]])

Обратите внимание, что по умолчанию первому индексу соответствует токен OOV.

Прямой и обратный поиск

В этом примере показано, как использовать словарь стандартного слоя поиска для создания слоя обратного поиска.

vocab = [12, 36, 1138, 42]
data = np.array([[12, 1138, 42], [42, 1000, 36]])
layer = IntegerLookup(vocabulary=vocab)
i_layer = IntegerLookup(
    vocabulary=layer.get_vocabulary(), invert=True)
int_data = layer(data)
i_layer(int_data)
array([[  12, 1138,   42],
       [  42,   -1,   36]])

В этом примере входной токен 1000 дал выходное значение -1, поскольку 1000 отсутствовал в словаре: он был представлен как OOV, а все токены OOV в обратном слое возвращаются как -1. Кроме того, обратный поиск будет работать, только если словарь прямого слоя уже задан напрямую или с помощью adapt() до вызова get_vocabulary().

Методы

adapt

Просмотреть исходный код

adapt(
    data, steps=None
)

Вычисляет словарь целочисленных терминов по токенам в наборе данных.

Вызов adapt() для слоя IntegerLookup — это альтернатива передаче предварительно вычисленного словаря при создании с помощью аргумента vocabulary. Для слоя IntegerLookup всегда необходимо либо выполнить адаптацию на наборе данных, либо передать словарь.

Во время adapt() слой составит словарь из всех целочисленных токенов, обнаруженных в наборе данных, отсортировав их по количеству вхождений; при равенстве частот токены сортируются по порядку (от большего к меньшему). В конце adapt(), если задано max_tokens, словарь будет усечён до размера max_tokens. Например, при адаптации слоя с max_tokens=1000 будут вычислены 1000 наиболее часто встречающихся токенов во входном наборе данных. Если задано output_mode='tf-idf', adapt() также вычислит частоты документов для каждого токена во входном наборе данных.

finalize_state

Просмотреть исходный код

finalize_state()

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создаёт слой на основе его конфигурации.

Этот метод является обратным к get_config и позволяет создать такой же слой из словаря конфигурации. Он не обрабатывает связи между слоями (это делает Network) и веса (это делает set_weights).

get_vocabulary

Просмотреть исходный код

get_vocabulary(
    include_special_tokens=True
)

Возвращает текущий словарь слоя.

load_assets

Просмотреть исходный код

load_assets(
    dir_path
)

reset_state

Просмотреть исходный код

reset_state()

save_assets

Просмотреть исходный код

save_assets(
    dir_path
)

set_vocabulary

Просмотреть исходный код

set_vocabulary(
    vocabulary, idf_weights=None
)

Задаёт словарь (и, при необходимости, частоты документов) для этого слоя.

Этот метод напрямую задаёт словарь и веса idf для слоя вместо анализа набора данных с помощью adapt. Его следует использовать, если информация о словаре (и, при необходимости, частотах документов) уже известна. Если в слое уже есть данные словаря, этот метод заменит их.

symbolic_call

Просмотреть исходный код

symbolic_call(
    *args, **kwargs
)

update_state

Просмотреть исходный код

update_state(
    data
)

vocabulary_size

Просмотреть исходный код

vocabulary_size()

Получает текущий размер словаря слоя.