tf.raw_ops.GenerateVocabRemapping

При указании путей к новым и старым файлам словаря возвращает тензор переназначения

tf.raw_ops.GenerateVocabRemapping(
    new_vocab_file,
    old_vocab_file,
    new_vocab_offset,
    num_new_vocab,
    old_vocab_size=-1,
    name=None
)

длины num_new_vocab, где remapping[i] содержит номер строки в старом словаре, соответствующей строке i в новом словаре (начиная со строки new_vocab_offset и до num_new_vocab элементов), или -1, если элемент i в новом словаре отсутствует в старом словаре. Старый словарь ограничивается первыми old_vocab_size элементами, если old_vocab_size не имеет значения по умолчанию -1.

num_vocab_offset обеспечивает использование в случае секционированной переменной и, как правило, должен задаваться путем анализа информации о секционировании. Файлы должны иметь текстовый формат, причем каждая строка должна содержать один элемент словаря.

Например, если new_vocab_file — это текстовый файл, содержащий в отдельных строках следующие элементы: [f0, f1, f2, f3], old_vocab_file = [f1, f0, f3], num_new_vocab = 3, new_vocab_offset = 1, возвращаемое переназначение будет равно [0, -1, 2].

Операция также возвращает количество элементов нового словаря, присутствующих в старом словаре. Это значение используется для вычисления количества значений, которые необходимо инициализировать при переназначении матрицы весов.

Эту функциональность можно использовать для переназначения словарей строк (обычно признаков) и столбцов (обычно классов) из контрольных точек TensorFlow. Обратите внимание, что логика секционирования предполагает наличие непрерывных словарей, соответствующих переменным, секционированным с помощью div. Кроме того, для переназначения используется IndexTable (а не неточная CuckooTable), поэтому клиентскому коду следует использовать соответствующую функцию index_table_from_file(), как это делает инфраструктура FeatureColumn (в отличие от tf.feature_to_id(), использующей CuckooTable).