tf.io.TFRecordWriter

Класс для записи записей в файл TFRecords.

tf.io.TFRecordWriter(
    path, options=None
)

Учебник TFRecords

TFRecords — это двоичный формат, оптимизированный для высокопроизводительного извлечения данных, обычно в сочетании с tf.data. TFRecordWriter используется для записи сериализованных примеров в файл для последующего использования. Основные шаги:

Заранее:

• Преобразуйте данные в сериализованный формат

• Запишите сериализованные данные в один или несколько файлов

  Во время обучения или оценки:

• Считывайте сериализованные примеры в память

• Анализируйте (десериализуйте) примеры

Ниже приведен минимальный пример:

import tempfile
example_path = os.path.join(tempfile.gettempdir(), "example.tfrecords")
np.random.seed(0)

# Write the records to a file.
with tf.io.TFRecordWriter(example_path) as file_writer:
  for _ in range(4):
    x, y = np.random.random(), np.random.random()

    record_bytes = tf.train.Example(features=tf.train.Features(feature={
        "x": tf.train.Feature(float_list=tf.train.FloatList(value=[x])),
        "y": tf.train.Feature(float_list=tf.train.FloatList(value=[y])),
    })).SerializeToString()
    file_writer.write(record_bytes)

# Read the data back out.
def decode_fn(record_bytes):
  return tf.io.parse_single_example(
      # Data
      record_bytes,

      # Schema
      {"x": tf.io.FixedLenFeature([], dtype=tf.float32),
       "y": tf.io.FixedLenFeature([], dtype=tf.float32)}
  )

for batch in tf.data.TFRecordDataset([example_path]).map(decode_fn):
  print("x = {x:.4f},  y = {y:.4f}".format(**batch))
x = 0.5488,  y = 0.7152
x = 0.6028,  y = 0.5449
x = 0.4237,  y = 0.6459
x = 0.4376,  y = 0.8918

Этот класс реализует __enter__ и __exit__, и его можно использовать в with блоках как обычный файл. (См. пример использования выше.)

Методы

close

Просмотреть исходный код

close()

Закрыть файл.

flush

Просмотреть исходный код

flush()

Выполнить сброс файла.

write

Просмотреть исходный код

write(
    record
)

Записать строковую запись в файл.

__enter__

__enter__()

enter(self: object) -> object

__exit__

__exit__()

exit(self: tensorflow.python._pywrap_record_io.RecordWriter, *args) -> None