Поддержка HTTP(S)

С помощью расширения httpfs можно напрямую обращаться к файлам по протоколу HTTP(S). Это работает для всех файлов, поддерживаемых DuckDB или его различными расширениями, и предоставляет только чтение.

SELECT *
FROM 'https://domain.tld/file.extension';

Частичное чтение

В большинстве случаев файлы CSV будут загружаться полностью из-за построительной природы формата. Для файлов Parquet DuckDB поддерживает частичное чтение, т.е. может использовать комбинацию метаданных Parquet и HTTP запросов диапазона, чтобы загрузить только те части файла, которые фактически необходимы запросу. Например, следующий запрос прочитает только метаданные Parquet и данные для столбца column_a:

SELECT column_a
FROM 'https://domain.tld/file.parquet';

В некоторых случаях вообще не нужно читать фактические данные, так как они требуют только чтения метаданных:

SELECT count(*)
FROM 'https://domain.tld/file.parquet';

Сканирование нескольких файлов

Сканирование нескольких файлов по HTTP(S) также поддерживается:

SELECT *
FROM read_parquet([
    'https://domain.tld/file1.parquet',
    'https://domain.tld/file2.parquet'
]);

Использование файла пользовательского сертификата

Эта функция в настоящее время доступна только в ночных сборках. Она будет выпущена в версии 0.10.1.

Для использования расширения httpfs с файлом пользовательского сертификата, установите следующие параметры конфигурации перед загрузкой расширения:

LOAD httpfs;
SET ca_cert_file = '⟨certificate_file⟩';
SET enable_server_cert_verification = true;