Spec-Zone.ru › TensorFlow 1.15

tf.compat.v2.lookup.StaticVocabularyTable

Обёртка таблицы «строка — ID», которая назначает ключи вне словаря в корзины.

Наследуется от: LookupInterface

tf.compat.v2.lookup.StaticVocabularyTable(
    initializer, num_oov_buckets, lookup_key_dtype=None, name=None
)

Например, если экземпляр StaticVocabularyTable инициализирован инициализатором «строка — ID», который отображает:

  • emerson -> 0
  • lake -> 1
  • palmer -> 2

Объект Vocabulary будет выполнять следующее отображение:

  • emerson -> 0
  • lake -> 1
  • palmer -> 2
  • <other term> -> bucket_id, где идентификатор корзины будет находиться между 3 и 3 + num_oov_buckets - 1, вычисляемый по формуле: hash(<term>) % num_oov_buckets + vocab_size

Если input_tensor — ["emerson", "lake", "palmer", "king", "crimson"], результат поиска — [0, 1, 2, 4, 7].

Если initializer равно None, используются только корзины для ключей вне словаря.

Пример использования:

num_oov_buckets = 3
input_tensor = tf.constant(["emerson", "lake", "palmer", "king", "crimnson"])
table = tf.lookup.StaticVocabularyTable(
    tf.TextFileIdTableInitializer(filename), num_oov_buckets)
out = table.lookup(input_tensor).
table.init.run()
print(out.eval())

Функция хеширования для генерации идентификаторов корзин для ключей вне словаря — Fingerprint64.

Аргументы
initializer Объект TableInitializerBase, содержащий данные для инициализации таблицы. Если None, используются только корзины для ключей вне словаря.
num_oov_buckets Количество корзин для ключей вне словаря. Должно быть больше нуля.
lookup_key_dtype Тип данных ключей, передаваемых в lookup. По умолчанию initializer.key_dtype, если указан initializer, в противном случае tf.string. Должен быть строкой или целым числом и должен быть преобразуем к initializer.key_dtype.
name Имя операции (необязательно).
Исключения
ValueError если num_oov_buckets не положительное.
TypeError если lookup_key_dtype или initializer.key_dtype не являются целым числом или строкой. Также, если initializer.value_dtype != int64.
Атрибуты
key_dtype Тип данных ключа таблицы.
name Имя таблицы.
resource_handle Возвращает дескриптор ресурса, связанный с этим ресурсом.
value_dtype Тип данных значения таблицы.

Методы

lookup

Посмотреть исходный код

lookup(
    keys, name=None
)

Ищет keys в таблице, возвращает соответствующие значения.

Присваивает ключи вне словаря в корзины, основываясь на их хэш-значениях.

Аргументы
keys Ключи для поиска. Может быть либо SparseTensor или плотной Tensor.
name Необязательное имя для операции.
Возвращает
SparseTensor если ключи разреженные, иначе плотная Tensor.
Исключения
TypeError если keys не соответствует типу данных ключа таблицы.

size

Посмотреть исходный код

size(
    name=None
)

Вычисляет количество элементов в этой таблице.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/compat/v2/lookup/StaticVocabularyTable

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API