tf.compat.v1.feature_column.categorical_column_with_vocabulary_file

Столбец категориальных данных с файлом словаря.

tf.compat.v1.feature_column.categorical_column_with_vocabulary_file(
    key,
    vocabulary_file,
    vocabulary_size=None,
    num_oov_buckets=0,
    default_value=None,
    dtype=tf.dtypes.string
)

Используйте этот столбец, когда ваши входные данные имеют строковый или целочисленный формат, и у вас есть файл словаря, который сопоставляет каждое значение целочисленному идентификатору. По умолчанию значения, отсутствующие в словаре, игнорируются. Используйте либо (но не оба) num_oov_buckets и default_value, чтобы указать, как обрабатывать значения, отсутствующие в словаре.

Для входного словаря features, features[key] это либо Tensor или SparseTensor. Если Tensor, пропущенные значения могут быть представлены как -1 для целых чисел и '' для строк, которые будут отброшены этим столбцом признаков.

Пример с num_oov_buckets: Файл '/us/states.txt' содержит 50 строк, каждая с двухсимвольным сокращением штата США. Все входные значения, присутствующие в этом файле, получают идентификатор от 0 до 49, соответствующий номеру строки. Все остальные значения хешируются и получают идентификатор от 50 до 54.

import tensorflow as tf
states = tf.feature_column.categorical_column_with_vocabulary_file(
  key='states', vocabulary_file='states.txt', vocabulary_size=5,
  num_oov_buckets=1)
columns = [states]
features = {'states':tf.constant([['california', 'georgia', 'michigan',
'texas', 'new york'], ['new york', 'georgia', 'california', 'michigan',
'texas']])}
linear_prediction = tf.compat.v1.feature_column.linear_model(features,
columns)

Пример с default_value: Файл '/us/states.txt' содержит 51 строку — первая строка — 'XX', а остальные 50 — двухсимвольные сокращения штатов США. Как буквальное 'XX' ввода, так и другие значения, отсутствующие в файле, будут присвоены идентификатору 0. Все остальные значения получают соответствующий номер строки от 1 до 50.

import tensorflow as tf
states = tf.feature_column.categorical_column_with_vocabulary_file(
  key='states', vocabulary_file='states.txt', vocabulary_size=6,
  default_value=0)
columns = [states]
features = {'states':tf.constant([['california', 'georgia', 'michigan',
'texas', 'new york'], ['new york', 'georgia', 'california', 'michigan',
'texas']])}
linear_prediction = tf.compat.v1.feature_column.linear_model(features,
columns)

И для создания встраивания с использованием либо:

import tensorflow as tf
states = tf.feature_column.categorical_column_with_vocabulary_file(
  key='states', vocabulary_file='states.txt', vocabulary_size=5,
  num_oov_buckets=1)
columns = [tf.feature_column.embedding_column(states, 3)]
features = {'states':tf.constant([['california', 'georgia', 'michigan',
'texas', 'new york'], ['new york', 'georgia', 'california', 'michigan',
'texas']])}
input_layer = tf.keras.layers.DenseFeatures(columns)
dense_tensor = input_layer(features)