Импорт CSV

Примеры

В следующих примерах используется файл flights.csv.

Чтение CSV-файла из диска, автоматическое определение параметров:

SELECT * FROM 'flights.csv';

Использование функции read_csv с настраиваемыми параметрами:

SELECT *
FROM read_csv('flights.csv',
    delim = '|',
    header = true,
    columns = {
        'FlightDate': 'DATE',
        'UniqueCarrier': 'VARCHAR',
        'OriginCityName': 'VARCHAR',
        'DestCityName': 'VARCHAR'
    });

Чтение CSV из стандартного ввода, автоматическое определение параметров:

cat flights.csv | duckdb -c "SELECT * FROM read_csv('/dev/stdin')"

Чтение CSV-файла в таблицу:

CREATE TABLE ontime (
    FlightDate DATE,
    UniqueCarrier VARCHAR,
    OriginCityName VARCHAR,
    DestCityName VARCHAR
);
COPY ontime FROM 'flights.csv';

В качестве альтернативы можно создать таблицу без ручного указания схемы, используя оператор CREATE TABLE .. AS SELECT:

CREATE TABLE ontime AS
    SELECT * FROM 'flights.csv';

Мы можем использовать синтаксис FROM-первый синтаксис, чтобы опустить SELECT *.

CREATE TABLE ontime AS
    FROM 'flights.csv';

Запись результата запроса в CSV-файл.

COPY (SELECT * FROM ontime) TO 'flights.csv' WITH (HEADER, DELIMITER '|');

Если мы сериализуем всю таблицу, мы можем просто обратиться к ней по имени.

COPY ontime TO 'flights.csv' WITH (HEADER, DELIMITER '|');

Загрузка CSV

Загрузка CSV, т.е. импорт CSV-файлов в базу данных, является очень распространенной, но и довольно сложной задачей. Хотя CSV-файлы кажутся простыми на первый взгляд, в них часто встречаются несоответствия, которые могут затруднить их загрузку. CSV-файлы бывают самых разных типов, часто повреждены и не имеют схемы. Читатель CSV должен справляться со всеми этими различными ситуациями.

Читатель CSV DuckDB может автоматически определить используемые флаги конфигурации, проанализировав CSV-файл с помощью анализатора CSV. Это будет работать правильно в большинстве случаев и должно быть первым вариантом. В редких случаях, когда читатель CSV не может определить правильную конфигурацию, можно вручную настроить читатель CSV для правильного парсинга CSV-файла. Подробнее об этом см. на странице автоматического определения.

Параметры

Ниже приведены параметры, которые можно передать читателю CSV. Эти параметры принимаются функцией read_csv. Однако не все параметры принимаются оператором COPY.

auto_type_candidates Подробности

Опция auto_type_candidates позволяет указать типы данных, которые должен учитывать читатель CSV при обнаружении типов данных столбцов. Пример использования:

SELECT * FROM read_csv('csv_file.csv', auto_type_candidates = ['BIGINT', 'DATE']);

Значение по умолчанию для опции auto_type_candidates равно ['SQLNULL', 'BOOLEAN', 'BIGINT', 'DOUBLE', 'TIME', 'DATE', 'TIMESTAMP', 'VARCHAR'].

Функции CSV

Модуль read_csv автоматически пытается определить правильную конфигурацию ридера CSV, используя анализатор CSV. Он также автоматически определяет типы столбцов. Если файл CSV содержит заголовок, он будет использовать имена из этого заголовка для именования столбцов. В противном случае столбцы будут именоваться column0, column1, column2, .... Пример с файлом flights.csv:

SELECT * FROM read_csv('flights.csv');

Путь может быть относительным (относительно текущего каталога) или абсолютным.

Мы также можем использовать read_csv для создания постоянной таблицы:

CREATE TABLE ontime AS
    SELECT * FROM read_csv('flights.csv');
DESCRIBE ontime;

SELECT * FROM read_csv('flights.csv', sample_size = 20_000);

Если мы явно зададим delim/sep, quote, escape, или header , мы можем обойти автоматическое определение этого параметра:

SELECT * FROM read_csv('flights.csv', header = true);

Несколько файлов можно прочитать одновременно, указав шаблон или список файлов. Дополнительную информацию см. в разделе нескольких файлов.

Запись с помощью инструкции COPY

Инструкцию COPY можно использовать для загрузки данных из файла CSV в таблицу. Эта инструкция имеет тот же синтаксис, что и в PostgreSQL. Чтобы загрузить данные с помощью инструкции COPY , необходимо сначала создать таблицу с правильной схемой (которая соответствует порядку столбцов в файле CSV и использует типы, соответствующие значениям в файле CSV). COPY автоматически определяет параметры конфигурации CSV.

CREATE TABLE ontime (
    flightdate DATE,
    uniquecarrier VARCHAR,
    origincityname VARCHAR,
    destcityname VARCHAR
);
COPY ontime FROM 'flights.csv';
SELECT * FROM ontime;

Если мы хотим вручную указать формат CSV, мы можем сделать это, используя параметры конфигурации COPY.

CREATE TABLE ontime (flightdate DATE, uniquecarrier VARCHAR, origincityname VARCHAR, destcityname VARCHAR);
COPY ontime FROM 'flights.csv' (DELIMITER '|', HEADER);
SELECT * FROM ontime;

Чтение поврежденных файлов CSV

DuckDB поддерживает чтение поврежденных файлов CSV. Подробнее см. на странице Чтение поврежденных файлов CSV.

Ограничения

Ридер CSV поддерживает только файлы с кодировкой символов UTF-8. Для файлов CSV с другими кодировками используйте, например, командную утилиту iconv для преобразования их в UTF-8. Например:

iconv -f ISO-8859-2 -t UTF-8 input.csv > input-utf-8.csv

Сохранение порядка

Ридер CSV учитывает параметр preserve_insertion_order конфигурации. При true (по умолчанию) порядок строк в наборе результатов, возвращаемом ридером CSV, совпадает с порядком соответствующих строк, считанных из файла(ов). При false, порядок не гарантируется.