Выражение COPY

Примеры

Считывание файла CSV в таблицу lineitem, используя автоматически определенные параметры CSV:

COPY lineitem FROM 'lineitem.csv';

Считывание файла CSV в таблицу lineitem, используя вручную заданные параметры CSV:

COPY lineitem FROM 'lineitem.csv' (DELIMITER '|');

Считывание файла Parquet в таблицу lineitem:

COPY lineitem FROM 'lineitem.pq' (FORMAT PARQUET);

Считывание файла JSON в таблицу lineitem, используя автоматически определенные параметры:

COPY lineitem FROM 'lineitem.json' (FORMAT JSON, AUTO_DETECT true);

Считывание файла CSV в таблицу lineitem, используя двойные кавычки:

COPY lineitem FROM "lineitem.csv";

Считывание файла CSV в таблицу lineitem, опуская кавычки:

COPY lineitem FROM lineitem.csv;

Запись таблицы в файл CSV:

COPY lineitem TO 'lineitem.csv' (FORMAT CSV, DELIMITER '|', HEADER);

Запись таблицы в файл CSV, используя двойные кавычки:

COPY lineitem TO "lineitem.csv";

Запись таблицы в файл CSV, опуская кавычки:

COPY lineitem TO lineitem.csv;

Запись результата запроса в файл Parquet:

COPY (SELECT l_orderkey, l_partkey FROM lineitem) TO 'lineitem.parquet' (COMPRESSION ZSTD);

Копирование всего содержимого базы данных db1 в базу данных db2:

COPY FROM DATABASE db1 TO db2;

Копирование только схемы (элементов каталога), но не данных:

COPY FROM DATABASE db1 TO db2 (SCHEMA);

Обзор

COPY перемещает данные между DuckDB и внешними файлами. COPY ... FROM импортирует данные в DuckDB из внешнего файла. COPY ... TO записывает данные из DuckDB во внешние файлы. Команда COPY может использоваться для CSV, PARQUET и JSON файлов.

COPY ... FROM

COPY ... FROM импортирует данные из внешнего файла в существующую таблицу. Данные добавляются к данным, которые уже находятся в таблице. Количество столбцов в файле должно совпадать с количеством столбцов в таблице table_name, и содержимое столбцов должно быть конвертируемо в типы столбцов таблицы. В случае, если это невозможно, будет выброшено исключение.

Если указан список столбцов, COPY скопирует только данные указанных столбцов из файла. Если в таблице есть столбцы, которые не входят в список столбцов, COPY ... FROM вставит значения по умолчанию для этих столбцов.

Копирование содержимого файла с разделителем запятая test.csv без заголовка в таблицу test:

COPY test FROM 'test.csv';

Копирование содержимого файла с разделителем запятая с заголовком в таблицу category:

COPY category FROM 'categories.csv' (HEADER);

Копирование содержимого lineitem.tbl в таблицу lineitem, где данные разделяются символом «|» (|):

COPY lineitem FROM 'lineitem.tbl' (DELIMITER '|');

Копирование содержимого lineitem.tbl в таблицу lineitem, где разделитель, символ кавычек и наличие заголовка автоматически определяются:

COPY lineitem FROM 'lineitem.tbl' (AUTO_DETECT true);

Чтение содержимого файла с разделителем запятая names.csv в столбец name таблицы category. Любые другие столбцы этой таблицы заполняются значением по умолчанию:

COPY category(name) FROM 'names.csv';

Чтение содержимого файла Parquet lineitem.parquet в таблицу lineitem:

COPY lineitem FROM 'lineitem.parquet' (FORMAT PARQUET);

Чтение содержимого файла JSON с разделителем перенос строки lineitem.ndjson в таблицу lineitem:

COPY lineitem FROM 'lineitem.ndjson' (FORMAT JSON);

Чтение содержимого файла JSON lineitem.json в таблицу lineitem:

COPY lineitem FROM 'lineitem.json' (FORMAT JSON, ARRAY true);

Синтаксис

COPY ... TO

COPY ... TO экспортирует данные из DuckDB во внешние файлы CSV или Parquet. Она имеет практически тот же набор опций, что и COPY ... FROM, однако в случае COPY ... TO опции задают, как файл должен быть записан на диск. Любой файл, созданный COPY ... TO, может быть скопирован обратно в базу данных с использованием COPY ... FROM с похожим набором опций.

Функция COPY ... TO может быть вызвана, указав имя таблицы или запрос. Когда указывается имя таблицы, содержимое всей таблицы будет записано в результирующий файл. Когда указывается запрос, запрос выполняется, и результат запроса записывается в результирующий файл.

Копирование содержимого таблицы lineitem в файл CSV с заголовком:

COPY lineitem TO 'lineitem.csv';

Копирование содержимого таблицы lineitem в файл lineitem.tbl, где столбцы разделены символом «|» (|), включая строку заголовка:

COPY lineitem TO 'lineitem.tbl' (DELIMITER '|');

Использование табуляции для создания TSV-файла без заголовка:

COPY lineitem TO 'lineitem.tsv' (DELIMITER '\t', HEADER false);

Копирование столбца l_orderkey таблицы lineitem в файл orderkey.tbl:

COPY lineitem(l_orderkey) TO 'orderkey.tbl' (DELIMITER '|');

Копирование результата запроса в файл query.csv, включая заголовок с именами столбцов:

COPY (SELECT 42 AS a, 'hello' AS b) TO 'query.csv' (DELIMITER ',');

Копирование результата запроса в файл Parquet query.parquet:

COPY (SELECT 42 AS a, 'hello' AS b) TO 'query.parquet' (FORMAT PARQUET);

Копирование результата запроса в файл JSON с разделителем перенос строки query.ndjson:

COPY (SELECT 42 AS a, 'hello' AS b) TO 'query.ndjson' (FORMAT JSON);

Копирование результата запроса в файл JSON query.json:

COPY (SELECT 42 AS a, 'hello' AS b) TO 'query.json' (FORMAT JSON, ARRAY true);

COPY ... TO Опции

Ноль или более опций копирования могут быть предоставлены в рамках операции копирования. Спецификатор WITH является необязательным, но если опции указаны, скобки обязательны. Значения параметров могут передаваться с или без обертки в одинарные кавычки.

Любая опция, являющаяся булевым значением, может быть включена или отключена несколькими способами. Можно написать true, ON, или 1 для включения опции и false, OFF, или 0 для её отключения. Значение BOOLEAN также может быть опущено, например, пропустив только (HEADER), в этом случае предполагается true.

Ниже приведенные опции применимы ко всем форматам, записанным с COPY.

Синтаксис

COPY FROM DATABASE ... TO

Оператор COPY FROM DATABASE ... TO копирует всё содержимое одной подключенной базы данных в другую подключенную базу данных. Это включает схему, включая ограничения, индексы, последовательности, макросы и сами данные.

ATTACH 'db1.db' AS db1;
CREATE TABLE db1.tbl AS SELECT 42 AS x, 3 AS y;
CREATE MACRO db1.two_x_plus_y(x, y) AS 2 * x + y;

ATTACH 'db2.db' AS db2;
COPY FROM DATABASE db1 TO db2;
SELECT db2.two_x_plus_y(x, y) AS z FROM db2.tbl;

Чтобы скопировать только схему db1 в db2, но не копировать данные, добавьте SCHEMA к оператору:

COPY FROM DATABASE db1 TO db2 (SCHEMA);

Синтаксис

Формат-специфичные опции

Опции CSV

Нижеприведённые параметры применимы при записи CSV файлов.

Опции Parquet

Нижеприведённые параметры применимы при записи файлов Parquet.

Примеры FIELD_IDS:

Автоматическое назначение field_ids:

COPY
    (SELECT 128 AS i)
    TO 'my.parquet'
    (FIELD_IDS 'auto');

Устанавливает field_id столбца i в значение 42:

COPY
    (SELECT 128 AS i)
    TO 'my.parquet'
    (FIELD_IDS {i: 42});

Устанавливает field_id столбца i в значение 42, и столбца j в значение 43:

COPY
    (SELECT 128 AS i, 256 AS j)
    TO 'my.parquet'
    (FIELD_IDS {i: 42, j: 43});

Устанавливает field_id столбца my_struct в значение 43, и столбца i (вложенного в my_struct ) в значение 43:

COPY
    (SELECT {i: 128} AS my_struct)
    TO 'my.parquet'
    (FIELD_IDS {my_struct: {__duckdb_field_id: 42, i: 43}});

Устанавливает field_id столбца my_list в значение 42, и столбца element (имя дочернего элемента списка по умолчанию) в значение 43:

COPY
    (SELECT [128, 256] AS my_list)
    TO 'my.parquet'
    (FIELD_IDS {my_list: {__duckdb_field_id: 42, element: 43}});

Устанавливает field_id столбца my_map в значение 42, и столбцов key и value (имена дочерних элементов словаря по умолчанию) в значения 43 и 44:

COPY
    (SELECT MAP {'key1' : 128, 'key2': 256} my_map)
    TO 'my.parquet'
    (FIELD_IDS {my_map: {__duckdb_field_id: 42, key: 43, value: 44}});

Параметры JSON

Ниже приведенные параметры применимы при записи файлов JSON.

Ограничения

COPY не поддерживает копирование между таблицами. Для копирования между таблицами используйте INSERT statement:

INSERT INTO tbl2
    FROM tbl1;