tf.compat.v2.lookup.StaticVocabularyTable
Обёртка таблицы «строка — ID», которая назначает ключи вне словаря в корзины.
Наследуется от: LookupInterface
tf.compat.v2.lookup.StaticVocabularyTable(
initializer, num_oov_buckets, lookup_key_dtype=None, name=None
)
Например, если экземпляр StaticVocabularyTable инициализирован инициализатором «строка — ID», который отображает:
emerson -> 0lake -> 1palmer -> 2
Объект Vocabulary будет выполнять следующее отображение:
emerson -> 0lake -> 1palmer -> 2-
<other term> -> bucket_id, где идентификатор корзины будет находиться между3и3 + num_oov_buckets - 1, вычисляемый по формуле:hash(<term>) % num_oov_buckets + vocab_size
Если input_tensor — ["emerson", "lake", "palmer", "king", "crimson"], результат поиска — [0, 1, 2, 4, 7].
Если initializer равно None, используются только корзины для ключей вне словаря.
Пример использования:
num_oov_buckets = 3
input_tensor = tf.constant(["emerson", "lake", "palmer", "king", "crimnson"])
table = tf.lookup.StaticVocabularyTable(
tf.TextFileIdTableInitializer(filename), num_oov_buckets)
out = table.lookup(input_tensor).
table.init.run()
print(out.eval())
Функция хеширования для генерации идентификаторов корзин для ключей вне словаря — Fingerprint64.
| Аргументы | |
|---|---|
initializer | Объект TableInitializerBase, содержащий данные для инициализации таблицы. Если None, используются только корзины для ключей вне словаря. |
num_oov_buckets | Количество корзин для ключей вне словаря. Должно быть больше нуля. |
lookup_key_dtype | Тип данных ключей, передаваемых в lookup. По умолчанию initializer.key_dtype, если указан initializer, в противном случае tf.string. Должен быть строкой или целым числом и должен быть преобразуем к initializer.key_dtype. |
name | Имя операции (необязательно). |
| Исключения | |
|---|---|
ValueError | если num_oov_buckets не положительное. |
TypeError | если lookup_key_dtype или initializer.key_dtype не являются целым числом или строкой. Также, если initializer.value_dtype != int64. |
| Атрибуты | |
|---|---|
key_dtype | Тип данных ключа таблицы. |
name | Имя таблицы. |
resource_handle | Возвращает дескриптор ресурса, связанный с этим ресурсом. |
value_dtype | Тип данных значения таблицы. |
Методы
lookup
lookup(
keys, name=None
)
Ищет keys в таблице, возвращает соответствующие значения.
Присваивает ключи вне словаря в корзины, основываясь на их хэш-значениях.
| Аргументы | |
|---|---|
keys | Ключи для поиска. Может быть либо SparseTensor или плотной Tensor. |
name | Необязательное имя для операции. |
| Возвращает | |
|---|---|
SparseTensor если ключи разреженные, иначе плотная Tensor. |
| Исключения | |
|---|---|
TypeError | если keys не соответствует типу данных ключа таблицы. |
size
size(
name=None
)
Вычисляет количество элементов в этой таблице.
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/compat/v2/lookup/StaticVocabularyTable