tf.feature_column.categorical_column_with_vocabulary_file

Столбец CategoricalColumn со словарем из файла.

Просмотр псевдонимов

Псевдонимы для миграции

См. Руководство по миграции для получения дополнительной информации.

tf.compat.v1.feature_column.categorical_column_with_vocabulary_file

tf.feature_column.categorical_column_with_vocabulary_file(
    key, vocabulary_file, vocabulary_size=None, num_oov_buckets=0,
    default_value=None, dtype=tf.dtypes.string
)

Используйте этот столбец, когда ваши входные данные представлены в строчном или целочисленном формате, а у вас есть файл словаря, сопоставляющий каждое значение целочисленному идентификатору. По умолчанию значения, отсутствующие в словаре, игнорируются. Используйте либо (но не оба) num_oov_buckets и default_value, чтобы указать, как обрабатывать значения, отсутствующие в словаре.

Для входного словаря features, features[key] — это либо Tensor, либо SparseTensor. Если Tensor, пропущенные значения могут быть представлены -1 для целых чисел и '' для строк, которые будут отброшены этим столбцом.

Пример с num_oov_buckets: файл '/us/states.txt' содержит 50 строк, каждая с 2-символьным сокращением штата США. Все входные данные со значениями из этого файла получают идентификатор от 0 до 49, соответствующий номеру строки. Все остальные значения хэшируются и получают идентификатор от 50 до 54.

states = categorical_column_with_vocabulary_file(
    key='states', vocabulary_file='/us/states.txt', vocabulary_size=50,
    num_oov_buckets=5)
columns = [states, ...]
features = tf.io.parse_example(..., features=make_parse_example_spec(columns))
linear_prediction = linear_model(features, columns)

Пример с default_value: файл '/us/states.txt' содержит 51 строку — первая строка 'XX', а остальные 50 — по 2-символьному сокращению штата США. И литеральное 'XX' ввода, и другие значения, отсутствующие в файле, получат идентификатор 0. Все остальные получат соответствующий номер строки от 1 до 50.

states = categorical_column_with_vocabulary_file(
    key='states', vocabulary_file='/us/states.txt', vocabulary_size=51,
    default_value=0)
columns = [states, ...]
features = tf.io.parse_example(..., features=make_parse_example_spec(columns))
linear_prediction, _, _ = linear_model(features, columns)

И чтобы создать встраивание, можно использовать:

columns = [embedding_column(states, 3),...]
features = tf.io.parse_example(..., features=make_parse_example_spec(columns))
dense_tensor = input_layer(features, columns)

Аргументы
`key`	Уникальная строка, идентифицирующая входной признак. Она используется в качестве имени столбца и ключа словаря для конфигурации парсинга признаков, объектов признаков `Tensor` и столбцов признаков.
`vocabulary_file`	Имя файла словаря.
`vocabulary_size`	Количество элементов в словаре. Это значение должно быть не больше длины `vocabulary_file`, если меньше, последующие значения игнорируются. Если None, оно устанавливается в длину `vocabulary_file`.
`num_oov_buckets`	Неотрицательное целое число, количество ведер для значений, отсутствующих в словаре. Все входные данные, отсутствующие в словаре, будут назначены идентификаторы в диапазоне `[vocabulary_size, vocabulary_size+num_oov_buckets)` на основе хэша входного значения. Положительное значение `num_oov_buckets` не может быть указано вместе с `default_value`.
`default_value`	Целочисленное значение идентификатора для возвращаемых значений признаков, отсутствующих в словаре, по умолчанию `-1`. Это значение не может быть указано вместе с положительным `num_oov_buckets`.
`dtype`	Тип признаков. Поддерживаются только строковый и целочисленный типы.

Возвращает
Столбец `CategoricalColumn` со словарем из файла.

Исключения
`ValueError`	Файл `vocabulary_file` отсутствует или не может быть открыт.
`ValueError`	Файл `vocabulary_size` отсутствует или содержит менее 1 элемента.
`ValueError`	`num_oov_buckets` является отрицательным числом.
`ValueError`	`num_oov_buckets` и `default_value` оба указаны.
`ValueError`	`dtype` не является ни строкой, ни целым числом.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r1.15/api_docs/python/tf/feature_column/categorical_column_with_vocabulary_file