tf.feature_column.categorical_column_with_vocabulary_file

CategoricalColumn с файлом словаря. (устарела)

tf.feature_column.categorical_column_with_vocabulary_file(
    key,
    vocabulary_file,
    vocabulary_size=None,
    dtype=tf.dtypes.string,
    default_value=None,
    num_oov_buckets=0,
    file_format=None
)

Используйте эту функцию, если входные данные представлены в виде строк или целых чисел и у вас есть файл словаря, сопоставляющий каждому значению целочисленный идентификатор. По умолчанию значения, отсутствующие в словаре, игнорируются. Используйте один из параметров (но не оба) — num_oov_buckets и default_value, чтобы указать, как включать значения, отсутствующие в словаре.

Для входного словаря features значение features[key] — это либо Tensor, либо SparseTensor. Если Tensor, пропущенные значения могут быть представлены как -1 для целых чисел и '' для строк; этот столбец признаков будет отбрасывать такие значения.

Пример с num_oov_buckets: файл '/us/states.txt' содержит 50 строк, в каждой из которых указано двухбуквенное обозначение штата США. Всем входным значениям, содержащимся в этом файле, присваивается идентификатор от 0 до 49, соответствующий номеру строки. Все остальные значения хешируются, и им присваивается идентификатор от 50 до 54.

states = categorical_column_with_vocabulary_file(
    key='states', vocabulary_file='/us/states.txt', vocabulary_size=50,
    num_oov_buckets=5)
columns = [states, ...]
features = tf.io.parse_example(..., features=make_parse_example_spec(columns))
linear_prediction = linear_model(features, columns)

Пример с default_value: файл '/us/states.txt' содержит 51 строку — в первой указано 'XX', а в каждой из остальных 50 — двухбуквенное обозначение штата США. Как литеральному значению 'XX' во входных данных, так и другим значениям, отсутствующим в файле, будет присвоен идентификатор 0. Всем остальным значениям присваивается соответствующий номер строки от 1 до 50.

states = categorical_column_with_vocabulary_file(
    key='states', vocabulary_file='/us/states.txt', vocabulary_size=51,
    default_value=0)
columns = [states, ...]
features = tf.io.parse_example(..., features=make_parse_example_spec(columns))
linear_prediction, _, _ = linear_model(features, columns)

А чтобы создать эмбеддинг с любым из этих вариантов:

columns = [embedding_column(states, 3),...]
features = tf.io.parse_example(..., features=make_parse_example_spec(columns))
dense_tensor = input_layer(features, columns)