tf.data.experimental.index_table_from_dataset

Возвращает таблицу поиска индексов, основанную на заданном наборе данных.

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения более подробной информации.

tf.compat.v1.data.experimental.index_table_from_dataset

tf.data.experimental.index_table_from_dataset(
    dataset=None,
    num_oov_buckets=0,
    vocab_size=None,
    default_value=-1,
    hasher_spec=lookup_ops.FastHashSpec,
    key_dtype=tf.dtypes.string,
    name=None
)

Данная операция создает таблицу поиска на основе заданного набора данных ключей.

Любой поиск токена, отсутствующего в словаре, вернёт идентификатор корзины, основанный на его хэше, если num_oov_buckets больше нуля. В противном случае ему присваивается значение default_value. Диапазон идентификаторов корзин — [vocabulary size, vocabulary size + num_oov_buckets - 1].

Примеры использования:

ds = tf.data.Dataset.range(100).map(lambda x: tf.strings.as_string(x * 2))
table = tf.data.experimental.index_table_from_dataset(
                                    ds, key_dtype=dtypes.int64)
table.lookup(tf.constant(['0', '2', '4'], dtype=tf.string)).numpy()
array([0, 1, 2])

Аргументы
`dataset`	Набор данных ключей.
`num_oov_buckets`	Количество корзин для токенов, отсутствующих в словаре.
`vocab_size`	Количество элементов в словаре, если известно.
`default_value`	Значение для токенов, отсутствующих в словаре. По умолчанию -1.
`hasher_spec`	`HasherSpec` для указания функции хеширования для присвоения корзин токенам, отсутствующим в словаре.
`key_dtype`	Тип данных `key`.
`name`	Имя этой операции (необязательно).

Возвращаемое значение
Таблица поиска, основанная на заданном наборе данных.

Исключения
`ValueError`	Если `num_oov_buckets` отрицательно `vocab_size` не больше нуля Тип данных `key_dtype` не целое число или строка

© 2022 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 4.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.9/api_docs/python/tf/data/experimental/index_table_from_dataset