tf.lookup.TextFileInitializer

Инициализаторы таблиц из текстового файла.

tf.lookup.TextFileInitializer(
    filename,
    key_dtype,
    key_index,
    value_dtype,
    value_index,
    vocab_size=None,
    delimiter='\t',
    name=None,
    value_index_offset=0
)

Используется в блокнотах

Этот инициализатор добавляет в таблицу одну запись для каждой строки файла.

Типы ключей и значений инициализируемой таблицы задаются с помощью key_dtype и value_dtype.

Содержимое ключа и значения, извлекаемое из каждой строки, задается с помощью key_index и value_index.

• TextFileIndex.LINE_NUMBER означает использование номера строки, начиная с нуля; ожидаемый тип данных — int64.
• TextFileIndex.WHOLE_LINE означает использование содержимого всей строки; ожидаемый тип данных — string.
• Значение >=0 означает использование индекса (начиная с нуля) строки, разделенной на части на основе delimiter.

Например, если файл содержит следующие данные:

import tempfile
f = tempfile.NamedTemporaryFile(delete=False)
content='\n'.join(["emerson 10", "lake 20", "palmer 30",])
f.file.write(content.encode('utf-8'))
f.file.close()

Следующий фрагмент кода инициализирует таблицу, используя первый столбец в качестве ключей, а второй — в качестве значений:

• emerson -> 10
• lake -> 20
• palmer -> 30

init= tf.lookup.TextFileInitializer(
   filename=f.name,
   key_dtype=tf.string, key_index=0,
   value_dtype=tf.int64, value_index=1,
   delimiter=" ")
table = tf.lookup.StaticHashTable(init, default_value=-1)
table.lookup(tf.constant(['palmer','lake','tarkus'])).numpy()

Аналогично, чтобы использовать всю строку в качестве ключа, а номер строки — в качестве значения:

• emerson 10 -> 0
• lake 20 -> 1
• palmer 30 -> 2

init = tf.lookup.TextFileInitializer(
  filename=f.name,
  key_dtype=tf.string, key_index=tf.lookup.TextFileIndex.WHOLE_LINE,
  value_dtype=tf.int64, value_index=tf.lookup.TextFileIndex.LINE_NUMBER)
table = tf.lookup.StaticHashTable(init, -1)
table.lookup(tf.constant('palmer 30')).numpy()
2

Методы

initialize

Посмотреть исходный код

initialize(
    table
)

Инициализирует таблицу из текстового файла.