tf.compat.v1.keras.layers.experimental.preprocessing.StringLookup

Преобразует строки из словаря в целочисленные индексы.

Наследуется от: StringLookup

tf.compat.v1.keras.layers.experimental.preprocessing.StringLookup(
    max_tokens=None, num_oov_indices=1, mask_token='', oov_token='[UNK]',
    vocabulary=None, encoding=None, invert=False, **kwargs
)

Этот слой преобразует набор произвольных строк в целочисленный выходной результат с помощью поиска по таблице, с необязательной обработкой вне словаря.

Если необходимо, пользователь может вызвать метод adapt() этого слоя на наборе данных, который проанализирует набор данных, определит частоту отдельных строковых значений и создаст словарь из них. Этот словарь может иметь неограниченный размер или быть ограниченным, в зависимости от параметров конфигурации этого слоя; если в входных данных уникальных значений больше, чем максимальный размер словаря, для создания словаря будут использоваться наиболее часто встречающиеся термины.

Примеры:

Создание слоя поиска со известным словарем

В этом примере создается слой поиска со предопределённым словарем.

vocab = ["a", "b", "c", "d"]
data = tf.constant([["a", "c", "d"], ["d", "z", "b"]])
layer = StringLookup(vocabulary=vocab)
layer(data)
<tf.Tensor: shape=(2, 3), dtype=int64, numpy=
array([[2, 4, 5],
       [5, 1, 3]])>

Создание слоя поиска с адаптированным словарем

В этом примере создаётся слой поиска и генерируется словарь путём анализа набора данных.

data = tf.constant([["a", "c", "d"], ["d", "z", "b"]])
layer = StringLookup()
layer.adapt(data)
layer.get_vocabulary()
['', '[UNK]', 'd', 'z', 'c', 'b', 'a']

Обратите внимание, как маркер маски '' и маркер OOV [UNK] были добавлены в словарь. Остальные токены отсортированы по частоте ('d', который встречается 2 раза, стоит первым), а затем по обратному порядку сортировки.

data = tf.constant([["a", "c", "d"], ["d", "z", "b"]])
layer = StringLookup()
layer.adapt(data)
layer(data)
<tf.Tensor: shape=(2, 3), dtype=int64, numpy=
array([[6, 4, 2],
       [2, 3, 5]])>

Поиск с несколькими токенами OOV.

В этом примере показано, как использовать слой поиска с несколькими токенами OOV. При создании слоя с более чем одним токеном OOV, любые значения OOV хэшируются в число ведер OOV, распределяя значения OOV детерминированным способом по набору.

vocab = ["a", "b", "c", "d"]
data = tf.constant([["a", "c", "d"], ["m", "z", "b"]])
layer = StringLookup(vocabulary=vocab, num_oov_indices=2)
layer(data)
<tf.Tensor: shape=(2, 3), dtype=int64, numpy=
array([[3, 5, 6],
       [1, 2, 4]])>

Обратите внимание, что выходное значение для значения OOV 'm' равно 1, а для значения OOV 'z' равно 2. Значения в словаре имеют выходной индекс, увеличенный на 1 по сравнению с предыдущими примерами (a отображается в 3 и т.д.), чтобы освободить место для дополнительных значений OOV.

Обратный поиск

В этом примере показано, как отображать индексы в строки, используя этот слой. (Вы также можете использовать adapt() с inverse=True, но для простоты мы передадим словарь в этом примере.)

vocab = ["a", "b", "c", "d"]
data = tf.constant([[1, 3, 4], [4, 5, 2]])
layer = StringLookup(vocabulary=vocab, invert=True)
layer(data)
<tf.Tensor: shape=(2, 3), dtype=string, numpy=
array([[b'a', b'c', b'd'],
       [b'd', b'[UNK]', b'b']], dtype=object)>

Обратите внимание, что целое число 5, которое выходит за пределы области словаря, возвращает маркер OOV.

Обратные и прямые пары поиска

В этом примере показано, как использовать словарь стандартного слоя поиска для создания обратного слоя поиска.

vocab = ["a", "b", "c", "d"]
data = tf.constant([["a", "c", "d"], ["d", "z", "b"]])
layer = StringLookup(vocabulary=vocab)
i_layer = StringLookup(vocabulary=layer.get_vocabulary(), invert=True)
int_data = layer(data)
i_layer(int_data)
<tf.Tensor: shape=(2, 3), dtype=string, numpy=
array([[b'a', b'c', b'd'],
       [b'd', b'[UNK]', b'b']], dtype=object)>

В этом примере входное значение 'z' привело к выводу '[UNK]', так как 1000 не было в словаре — оно было представлено как OOV, а все значения OOV возвращаются как '[OOV}' в обратном слое. Также обратите внимание, что для работы обратного поиска необходимо предварительно установить словарь прямого слоя либо напрямую, либо через fit(), перед вызовом get_vocabulary().

Методы

adapt

Просмотреть исходный код

adapt(
    data, reset_state=True
)

Подгоняет состояние слоя предобработки к набору данных.

Переопределяет метод adapt по умолчанию, чтобы применить соответствующую предобработку к входным данным перед передачей их в комбинированный слой.

get_vocabulary

Просмотреть исходный код

get_vocabulary()

set_vocabulary

Просмотреть исходный код

set_vocabulary(
    vocab
)

Устанавливает данные словаря для этого слоя с inverse=False.

Этот метод устанавливает словарь для этого слоя напрямую, а не анализируя набор данных с помощью 'adapt'. Он должен использоваться всякий раз, когда информация о словаре уже известна. Если данные словаря уже присутствуют в слое, этот метод либо заменит

vocab_size

Просмотреть исходный код

vocab_size()