Запрос метаданных Parquet

Метаданные Parquet

Функцию parquet_metadata можно использовать для запроса метаданных, содержащихся в файле Parquet, что раскрывает различные внутренние детали файла Parquet, такие как статистика различных столбцов. Это может быть полезно для определения того, какой тип пропусков возможен в файлах Parquet, или даже для получения быстрого обзора того, что содержат разные столбцы:

SELECT *
FROM parquet_metadata('test.parquet');

Ниже приведена таблица столбцов, возвращаемых функцией parquet_metadata.

Поле	Тип
file_name	VARCHAR
row_group_id	BIGINT
row_group_num_rows	BIGINT
row_group_num_columns	BIGINT
row_group_bytes	BIGINT
column_id	BIGINT
file_offset	BIGINT
num_values	BIGINT
path_in_schema	VARCHAR
type	VARCHAR
stats_min	VARCHAR
stats_max	VARCHAR
stats_null_count	BIGINT
stats_distinct_count	BIGINT
stats_min_value	VARCHAR
stats_max_value	VARCHAR
compression	VARCHAR
encodings	VARCHAR
index_page_offset	BIGINT
dictionary_page_offset	BIGINT
data_page_offset	BIGINT
total_compressed_size	BIGINT
total_uncompressed_size	BIGINT
key_value_metadata	MAP(BLOB, BLOB)

Схема Parquet

Функцию parquet_schema можно использовать для запроса внутренней схемы, содержащейся в файле Parquet. Обратите внимание, что это схема, как она содержится в метаданных файла Parquet. Если вы хотите определить имена и типы столбцов, содержащихся в файле Parquet, проще использовать DESCRIBE.

Получение имён и типов столбцов:

DESCRIBE SELECT * FROM 'test.parquet';

Получение внутренней схемы файла Parquet:

SELECT *
FROM parquet_schema('test.parquet');

Ниже приведена таблица столбцов, возвращаемых функцией parquet_schema.

Поле	Тип
file_name	VARCHAR
name	VARCHAR
type	VARCHAR
type_length	VARCHAR
repetition_type	VARCHAR
num_children	BIGINT
converted_type	VARCHAR
scale	BIGINT
precision	BIGINT
field_id	BIGINT
logical_type	VARCHAR

Метаданные файла Parquet

Функцию parquet_file_metadata можно использовать для запроса метаданных уровня файла, таких как версия формата и используемый алгоритм шифрования:

SELECT *
FROM parquet_file_metadata('test.parquet');

Ниже приведена таблица столбцов, возвращаемых функцией parquet_file_metadata.

Поле	Тип
file_name	VARCHAR
created_by	VARCHAR
num_rows	BIGINT
num_row_groups	BIGINT
format_version	BIGINT
encryption_algorithm	VARCHAR
footer_signing_key_metadata	VARCHAR

Метаданные Parquet ключ-значение

Функцию parquet_kv_metadata можно использовать для запроса настраиваемых метаданных, определённых как пары ключ-значение:

SELECT *
FROM parquet_kv_metadata('test.parquet');

Ниже приведена таблица столбцов, возвращаемых функцией parquet_kv_metadata.

Поле	Тип
file_name	VARCHAR
key	BLOB
value	BLOB