Импорт ледников из S3

Предварительные условия

Для загрузки файла Iceberg из S3 необходимы расширения httpfs и iceberg. Их можно установить, используя команду SQL INSTALL. Установка расширений требуется только один раз.

INSTALL httpfs;
INSTALL iceberg;

Для загрузки расширений для использования используйте команду LOAD:

LOAD httpfs;
LOAD iceberg;

Учетные данные

После загрузки расширений настройте учетные данные и регион S3 для чтения данных. Вы можете использовать ключ доступа и секрет или токен.

CREATE SECRET (
    TYPE S3,
    KEY_ID 'AKIAIOSFODNN7EXAMPLE',
    SECRET 'wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY',
    REGION 'us-east-1'
);

В качестве альтернативы, используйте aws расширение для автоматического получения учетных данных:

CREATE SECRET (
    TYPE S3,
    PROVIDER CREDENTIAL_CHAIN
);

Загрузка таблиц Iceberg из S3

После настройки расширений и корректной конфигурации учетных данных S3 таблицы Iceberg можно прочитать из S3, используя следующую команду:

SELECT *
FROM iceberg_scan('s3://⟨bucket⟩/⟨iceberg-table-folder⟩/metadata/⟨id⟩.metadata.json');

Обратите внимание, что необходимо установить прямую ссылку на файл манифеста. В противном случае вы получите ошибку следующего типа:

Error: IO Error: Cannot open file "s3://⟨bucket⟩/⟨iceberg-table-folder⟩/metadata/version-hint.text": No such file or directory