tf.keras.layers.experimental.preprocessing.IntegerLookup

Преобразует целые числа из словаря в целочисленные индексы.

Наследуется от: PreprocessingLayer, Layer, Module

tf.keras.layers.experimental.preprocessing.IntegerLookup(
    max_values=None, num_oov_indices=1, mask_value=0, oov_value=-1, vocabulary=None,
    invert=False, **kwargs
)

Этот слой преобразует набор произвольных целых чисел в целочисленный вывод с помощью табличного поиска, с необязательной обработкой значений, отсутствующих в словаре.

Если необходимо, пользователь может вызвать метод adapt() этого слоя на наборе данных, который проанализирует набор данных, определит частоту отдельных строковых значений и создаст словарь из них. Этот словарь может иметь неограниченный размер или быть ограниченным, в зависимости от параметров конфигурации этого слоя; если уникальных значений во входных данных больше, чем максимальный размер словаря, для создания словаря будут использоваться наиболее часто встречающиеся термины.

Примеры:

Создание слоя поиска со словарем, известным заранее

В этом примере создается слой поиска со словарем, заданным заранее.

vocab = [12, 36, 1138, 42]
data = tf.constant([[12, 1138, 42], [42, 1000, 36]])
layer = IntegerLookup(vocabulary=vocab)
layer(data)
<tf.Tensor: shape=(2, 3), dtype=int64, numpy=
array([[2, 4, 5],
       [5, 1, 3]])>

Создание слоя поиска со словарем, адаптированным к набору данных

В этом примере создается слой поиска, и словарь генерируется путём анализа набора данных.

data = tf.constant([[12, 1138, 42], [42, 1000, 36]])
layer = IntegerLookup()
layer.adapt(data)
layer.get_vocabulary()
[0, -1, 42, 1138, 1000, 36, 12]

Обратите внимание, как значение маски 0 и значение OOV -1 были добавлены в словарь. Остальные значения отсортированы по частоте (1138, который встречается 2 раза, идёт первым), а затем по обратному порядку.

data = tf.constant([[12, 1138, 42], [42, 1000, 36]])
layer = IntegerLookup()
layer.adapt(data)
layer(data)
<tf.Tensor: shape=(2, 3), dtype=int64, numpy=
array([[6, 3, 2],
       [2, 4, 5]])>

Поиск со множеством токенов OOV.

В этом примере показано, как использовать слой поиска со множеством токенов OOV. Когда слой создаётся с более чем одним токеном OOV, все значения OOV хешируются в количестве OOV-корзин, распределяя значения OOV детерминированным образом по набору.

vocab = [12, 36, 1138, 42]
data = tf.constant([[12, 1138, 42], [37, 1000, 36]])
layer = IntegerLookup(vocabulary=vocab, num_oov_indices=2)
layer(data)
<tf.Tensor: shape=(2, 3), dtype=int64, numpy=
array([[3, 5, 6],
       [2, 1, 4]])>

Обратите внимание, что выходной результат для значения OOV 37 равен 2, а для значения OOV 1000 равен 1. Индексы терминов из словаря увеличены на 1 по сравнению с предыдущими примерами (12 отображается как 3 и т. д.) для выделения места для дополнительных значений OOV.

Обратный поиск

В этом примере показано, как отобразить индексы на значения с помощью этого слоя. (Вы также можете использовать adapt() с inverse=True, но для простоты мы передадим словарь в этом примере.)

vocab = [12, 36, 1138, 42]
data = tf.constant([[1, 3, 4], [4, 5, 2]])
layer = IntegerLookup(vocabulary=vocab, invert=True)
layer(data)
<tf.Tensor: shape=(2, 3), dtype=int64, numpy=
array([[  12, 1138,   42],
       [  42,   -1,   36]])>

Обратите внимание, что целое число 5, которое не входит в словарь, возвращает токен OOV.

Прямой и обратный поиск

В этом примере показано, как использовать словарь стандартного слоя поиска для создания слоя обратного поиска.

vocab = [12, 36, 1138, 42]
data = tf.constant([[12, 1138, 42], [42, 1000, 36]])
layer = IntegerLookup(vocabulary=vocab)
i_layer = IntegerLookup(vocabulary=layer.get_vocabulary(), invert=True)
int_data = layer(data)
i_layer(int_data)
<tf.Tensor: shape=(2, 3), dtype=int64, numpy=
array([[  12, 1138,   42],
       [  42,   -1,   36]])>

В этом примере входное значение 1000 привело к выводу -1, так как 1000 не было в словаре - оно было представлено как OOV, и все значения OOV возвращаются как -1 в обратном слое. Также обратите внимание, что для работы обратного поиска необходимо предварительно задать словарь forward слоя, либо напрямую, либо через fit(), прежде чем вызывать get_vocabulary().

Методы

adapt

Просмотреть исходный код

adapt(
    data, reset_state=True
)

Подстраивает состояние слоя предобработки под набор данных.

Переопределяет метод adapt по умолчанию, чтобы применить соответствующую предобработку к входным данным перед передачей в комбинатор.

get_vocabulary

Просмотреть исходный код

get_vocabulary()

set_vocabulary

Просмотреть исходный код

set_vocabulary(
    vocab
)

Устанавливает данные словаря для этого слоя с inverse=False.

Этот метод устанавливает словарь для этого слоя напрямую, вместо анализа набора данных через 'adapt'. Он должен использоваться всякий раз, когда информация о словаре уже известна. Если данные словаря уже присутствуют в слое, этот метод либо заменит их

vocab_size

Просмотреть исходный код

vocab_size()