tf.contrib.lookup.index_table_from_tensor

Возвращает таблицу поиска, которая преобразует тензор строк в идентификаторы int64.

tf.contrib.lookup.index_table_from_tensor(
    mapping, num_oov_buckets=0, default_value=-1,
    hasher_spec=tf.contrib.lookup.FastHashSpec, dtype=tf.dtypes.string, name=None
)

Данная операция создает таблицу поиска для преобразования тензора строк в идентификаторы int64. Сопоставление может быть инициализировано из одномерного тензора строк mapping, где каждый элемент является ключом, а соответствующий индекс в тензоре является значением.

Любой поиск вне словаря (out-of-vocabulary) возвращает идентификатор корзины (bucket ID) на основе его хеша, если num_oov_buckets больше нуля. В противном случае ему назначается default_value. Диапазон идентификаторов корзины [mapping size, mapping size + num_oov_buckets - 1].

Базовая таблица должна быть инициализирована, вызвав session.run(tf.compat.v1.tables_initializer) или session.run(table.init) один раз.

Элементы в mapping не могут иметь дубликатов, в противном случае при выполнении операции инициализации таблицы будет выброшено исключение FailedPreconditionError.

Примеры использования:

mapping_strings = tf.constant(["emerson", "lake", "palmer"])
table = tf.contrib.lookup.index_table_from_tensor(
    mapping=mapping_strings, num_oov_buckets=1, default_value=-1)
features = tf.constant(["emerson", "lake", "and", "palmer"])
ids = table.lookup(features)
...
tf.compat.v1.tables_initializer().run()

ids.eval()  ==> [0, 1, 3, 2]

Аргументы
`mapping`	Одномерный `Tensor`, который определяет сопоставление ключей с индексами. Тип этого объекта должен быть приводим к типу `dtype`.
`num_oov_buckets`	Количество корзин для слов вне словаря (out-of-vocabulary).
`default_value`	Значение, используемое для значений функций вне словаря. По умолчанию -1.
`hasher_spec`	`HasherSpec` для указания хеш-функции, используемой для назначения корзин для слов вне словаря.
`dtype`	Тип значений, передаваемых в `lookup`. Поддерживаются только строки и целые числа.
`name`	Имя для этой операции (необязательно).

Возвращаемые значения
Таблица поиска для сопоставления входного `Tensor` с индексом `int64` `Tensor`.

Исключения
`ValueError`	Если `mapping` некорректен.
`ValueError`	Если `num_oov_buckets` отрицателен.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/contrib/lookup/index_table_from_tensor