tf.data.experimental.make_csv_dataset

Считывает CSV-файлы в набор данных.

tf.data.experimental.make_csv_dataset(
    file_pattern,
    batch_size,
    column_names=None,
    column_defaults=None,
    label_name=None,
    select_columns=None,
    field_delim=',',
    use_quote_delim=True,
    na_value='',
    header=True,
    num_epochs=None,
    shuffle=True,
    shuffle_buffer_size=10000,
    shuffle_seed=None,
    prefetch_buffer_size=None,
    num_parallel_reads=None,
    sloppy=False,
    num_rows_for_inference=100,
    compression_type=None,
    ignore_errors=False
)

Считывает CSV-файлы в набор данных, где каждый элемент набора данных — это кортеж (признаки, метки), соответствующий пакету строк CSV. Словарь признаков сопоставляет имена столбцов признаков с Tensor содержащими соответствующие данные признаков, а метки — с Tensor содержащими данные меток пакета.

По умолчанию ожидается, что первые строки CSV-файлов являются заголовками, перечисляющими имена столбцов. Если первые строки не являются заголовками, установите header=False и укажите имена столбцов с помощью аргумента column_names.

По умолчанию набор данных повторяется бесконечно, каждый раз перемешивая порядок. Это поведение можно изменить, установив аргументы num_epochs и shuffle.

Например, предположим, что у вас есть CSV-файл, содержащий

# No label column specified
dataset = tf.data.experimental.make_csv_dataset(filename, batch_size=2)
iterator = dataset.as_numpy_iterator()
print(dict(next(iterator)))
# prints a dictionary of batched features:
# OrderedDict([('Feature_A', array([1, 4], dtype=int32)),
#              ('Feature_B', array([b'a', b'd'], dtype=object))])

# Set Feature_B as label column
dataset = tf.data.experimental.make_csv_dataset(
    filename, batch_size=2, label_name="Feature_B")
iterator = dataset.as_numpy_iterator()
print(next(iterator))
# prints (features, labels) tuple:
# (OrderedDict([('Feature_A', array([1, 2], dtype=int32))]),
#  array([b'a', b'b'], dtype=object))

См. руководство по загрузке данных CSV для получения дополнительных примеров использования make_csv_dataset для чтения данных CSV.