tf.data.experimental.index_table_from_dataset
Возвращает таблицу поиска индексов на основе заданного набора данных.
tf.data.experimental.index_table_from_dataset(
dataset=None,
num_oov_buckets=0,
vocab_size=None,
default_value=-1,
hasher_spec=lookup_ops.FastHashSpec,
key_dtype=tf.dtypes.string,
name=None
)
Эта операция создает таблицу поиска на основе заданного набора данных ключей.
Любой поиск токена вне словаря вернёт ID корзины, основанный на его хэше, если num_oov_buckets больше нуля. В противном случае ему присваивается default_value. Диапазон ID корзины составляет [vocabulary size, vocabulary size + num_oov_buckets - 1].
Примеры использования:
ds = tf.data.Dataset.range(100).map(lambda x: tf.strings.as_string(x * 2))
table = tf.data.experimental.index_table_from_dataset(
ds, key_dtype=dtypes.int64)
table.lookup(tf.constant(['0', '2', '4'], dtype=tf.string)).numpy()
array([0, 1, 2])| Аргументы | |
|---|---|
dataset | Набор данных ключей. |
num_oov_buckets | Количество корзин для токенов вне словаря. |
vocab_size | Количество элементов в словаре, если известно. |
default_value | Значение для использования для значений признаков вне словаря. По умолчанию -1. |
hasher_spec | HasherSpec для указания функции хэширования для назначения корзин для токенов вне словаря. |
key_dtype | Тип данных key. |
name | Имя для этой операции (необязательно). |
| Возвращаемое значение | |
|---|---|
| Таблица поиска на основе заданного набора данных. |
| Исключения | |
|---|---|
ValueError | Если
|
© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/api_docs/python/tf/data/experimental/index_table_from_dataset
