pandas.read_parquet

pandas.read_parquet(path, engine='auto', columns=None, storage_options=None, use_nullable_dtypes=False, **kwargs)[source]

Загрузка объекта parquet из файла по пути, возвращая DataFrame.

Параметры

path:строка, объект пути или объект файла

Строка, объект пути (реализующий os.PathLike[str]), или объект файла, реализующий бинарную функцию read(). Строка может быть URL. Допустимые схемы URL включают http, ftp, s3, gs и file. Для URL-адресов файлов ожидается хост. Локальный файл может быть: file://localhost/path/to/table.parquet. URL-адрес файла также может быть путем к каталогу, содержащему несколько разграниченных файлов parquet. Как pyarrow, так и fastparquet поддерживают пути к каталогам, а также URL-адреса файлов. Путь к каталогу может быть: file://localhost/path/to/tables или s3://bucket/partition_dir.

engine:{‘auto’, ‘pyarrow’, ‘fastparquet’}, по умолчанию ‘auto’

Библиотека parquet для использования. Если ‘auto’, используется опция io.parquet.engine. По умолчанию io.parquet.engine поведение заключается в попытке использования ‘pyarrow’, переходя к ‘fastparquet’, если ‘pyarrow’ недоступен.

columns:список, по умолчанию None

Если не None, будут считаны только эти столбцы из файла.

storage_options:словарь, необязательно

Дополнительные параметры, которые имеют смысл для определенного подключения к хранилищу, например, хост, порт, имя пользователя, пароль и т. д. Для HTTP(S) URL-адресов пары ключ-значение передаются в urllib.request.Request в качестве параметров заголовка. Для других URL-адресов (например, начинающихся с “s3://”, и “gcs://”) пары ключ-значение передаются в fsspec.open. Подробнее см. fsspec и urllib, а примеры параметров хранилища см. здесь.

Введено в версии 1.3.0.

use_nullable_dtypes:bool, по умолчанию False

Если True, использовать типы данных, которые используют pd.NA в качестве индикатора отсутствующего значения для результирующего DataFrame. (только применимо к pyarrow движку) По мере добавления новых типов данных, которые поддерживают pd.NA в будущем, выход с этим параметром будет изменён на использование этих типов данных. Примечание: это экспериментальная опция, и поведение (например, дополнительная поддержка типов данных) может измениться без предварительного уведомления.

Введено в версии 1.2.0.

**kwargs

Любые дополнительные kwargs передаются в движок.

Возвращает

DataFrame