tf.raw_ops.GenerateVocabRemapping

Учитывая пути к новым и старым файлам словаря, возвращает тензор переназначения

tf.raw_ops.GenerateVocabRemapping(
    new_vocab_file,
    old_vocab_file,
    new_vocab_offset,
    num_new_vocab,
    old_vocab_size=-1,
    name=None
)

длиной num_new_vocab, где remapping[i] содержит номер строки в старом словаре, соответствующий строке i в новом словаре (начиная с строки new_vocab_offset и до num_new_vocab сущностей), или -1, если запись i в новом словаре отсутствует в старом словаре. Старый словарь ограничен первыми old_vocab_size записями, если old_vocab_size не имеет значения по умолчанию -1.

num_vocab_offset позволяет использовать в случае разбиения переменной, и обычно следует устанавливать, просматривая информацию о разбиении. Формат файлов должен быть текстовым, где каждая строка содержит одну сущность в словаре.

Например, если new_vocab_file текстовый файл, содержащий каждый из следующих элементов в отдельной строке: [f0, f1, f2, f3], old_vocab_file = [f1, f0, f3], num_new_vocab = 3, new_vocab_offset = 1, возвращаемое переназначение будет [0, -1, 2].

Операция также возвращает количество записей в новом словаре, присутствующих в старом словаре, которое используется для расчёта количества значений для инициализации в матрице весов, подлежащих переназначению.

Эта функциональность может быть использована для переназначения как рядов словарей (как правило, признаков), так и столбцов словарей (как правило, классов) из проверочных точек TensorFlow. Обратите внимание, что логика разбиения полагается на непрерывные словари, соответствующие переменным, разбиение которых основано на делении. Кроме того, базовое переназначение использует таблицу индексов (в отличие от неточной таблицы Кука), поэтому код клиента должен использовать соответствующую функцию index_table_from_file(), как это делает структура FeatureColumn (в отличие от tf.feature_to_id(), которая использует таблицу Кука).