tf.lookup.TextFileInitializer

Инициализаторы таблиц из текстового файла.

tf.lookup.TextFileInitializer(
    filename,
    key_dtype,
    key_index,
    value_dtype,
    value_index,
    vocab_size=None,
    delimiter='\t',
    name=None,
    value_index_offset=0
)

Этот инициализатор присваивает одну запись в таблицу для каждой строки в файле.

Тип ключа и значения таблицы для инициализации задаётся key_dtype и value_dtype.

Контент ключа и значения, который нужно получить из каждой строки, задаётся key_index и value_index.

• TextFileIndex.LINE_NUMBER означает использование номера строки, начиная с нуля, ожидается тип данных int64.
• TextFileIndex.WHOLE_LINE означает использование всего содержимого строки, ожидается тип данных string.
• Значение >=0 означает использование индекса (начиная с нуля) разделительной строки на основе delimiter.

Например, если у нас есть файл со следующим содержимым:

import tempfile
f = tempfile.NamedTemporaryFile(delete=False)
content='\n'.join(["emerson 10", "lake 20", "palmer 30",])
f.file.write(content.encode('utf-8'))
f.file.close()

Следующий фрагмент инициализирует таблицу с первым столбцом в качестве ключей и вторым столбцом в качестве значений:

• emerson -> 10
• lake -> 20
• palmer -> 30

init= tf.lookup.TextFileInitializer(
   filename=f.name,
   key_dtype=tf.string, key_index=0,
   value_dtype=tf.int64, value_index=1,
   delimiter=" ")
table = tf.lookup.StaticHashTable(init, default_value=-1)
table.lookup(tf.constant(['palmer','lake','tarkus'])).numpy()

Аналогично, для инициализации всей строки в качестве ключей и номера строки в качестве значений.

• emerson 10 -> 0
• lake 20 -> 1
• palmer 30 -> 2

init = tf.lookup.TextFileInitializer(
  filename=f.name,
  key_dtype=tf.string, key_index=tf.lookup.TextFileIndex.WHOLE_LINE,
  value_dtype=tf.int64, value_index=tf.lookup.TextFileIndex.LINE_NUMBER)
table = tf.lookup.StaticHashTable(init, -1)
table.lookup(tf.constant('palmer 30')).numpy()
2

Методы

initialize

Просмотреть исходный код

initialize(
    table
)

Инициализирует таблицу из текстового файла.