polars.read_delta

polars.read_delta(
    source: str | Path | DeltaTable,
    *,
    version: int | str | datetime | None = None,
    columns: list[str] | None = None,
    rechunk: bool | None = None,
    storage_options: StorageOptionsDict | None = None,
    credential_provider: CredentialProviderFunction | Literal['auto'] | None = 'auto',
    delta_table_options: dict[str,
    Any] | None = None,
    use_pyarrow: bool = False,
    pyarrow_options: dict[str,
    Any] | None = None,
) → DataFrame

Считывает данные из таблицы Delta Lake в DataFrame.

Параметры:

source

DeltaTable, путь или URI к корню таблицы Delta Lake.

Примечание: для локальной файловой системы поддерживаются абсолютные и относительные пути, но для поддерживаемых объектных хранилищ — GCS, Azure и S3 — необходимо указать полный URI.

version

Числовая версия или версия таблицы Delta Lake, указанная временной меткой.

Примечание: если version не указано, считывается последняя версия таблицы Delta Lake.

columns

Столбцы для выбора. Принимает список имён столбцов.

rechunk

Обеспечивает непрерывное размещение всех столбцов в памяти, объединяя фрагменты в один массив.

Устарело с версии 1.43.2: Вызовите rechunk для возвращённого DataFrame.

storage_options

Дополнительные параметры для бэкендов хранилищ, поддерживаемых deltalake. Для облачных хранилищ они могут включать настройки аутентификации и другие параметры.

Подробнее здесь.

credential_provider

Функция, которую можно вызвать для получения учётных данных облачного хранилища. Ожидается, что функция вернёт словарь ключей учётных данных и необязательное время истечения их срока действия.

Предупреждение

Эта функциональность считается нестабильной. Она может быть изменена в любой момент без того, чтобы это считалось несовместимым изменением.

delta_table_options

Дополнительные именованные аргументы при чтении таблицы Delta Lake.

use_pyarrow

Флаг для включения чтения наборов данных с помощью pyarrow.

pyarrow_options

Именованные аргументы при преобразовании таблицы Delta Lake в таблицу pyarrow.

Возвращает:

DataFrame

Примеры

Считывает таблицу Delta из локальной файловой системы. Примечание: поскольку версия не указана, считывается последняя версия таблицы Delta.

>>> table_path = "/path/to/delta-table/"
>>> pl.read_delta(table_path)  

Считывает указанную версию таблицы Delta из локальной файловой системы. Примечание: вызов завершится ошибкой, если указанная версия таблицы Delta не существует.

>>> pl.read_delta(table_path, version=1)  

Выполняет перемещение во времени по таблице Delta из локальной файловой системы с использованием версии, заданной временной меткой.

>>> pl.read_delta(
...     table_path, version=datetime(2020, 1, 1, tzinfo=timezone.utc)
... )  

Считывает таблицу Delta из AWS S3. Список поддерживаемых параметров хранилища для S3 см. здесь.

>>> table_path = "s3://bucket/path/to/delta-table/"
>>> storage_options = {
...     "AWS_ACCESS_KEY_ID": "THE_AWS_ACCESS_KEY_ID",
...     "AWS_SECRET_ACCESS_KEY": "THE_AWS_SECRET_ACCESS_KEY",
... }
>>> pl.read_delta(table_path, storage_options=storage_options)  

Считывает таблицу Delta из Google Cloud Storage (GCS). Список поддерживаемых параметров хранилища для GCS см. здесь.

>>> table_path = "gs://bucket/path/to/delta-table/"
>>> storage_options = {"SERVICE_ACCOUNT": "SERVICE_ACCOUNT_JSON_ABSOLUTE_PATH"}
>>> pl.read_delta(table_path, storage_options=storage_options)  

Считывает таблицу Delta из Azure.

Поддерживаются следующие типы путей к таблицам:

• az://<container>/<path>
• adl://<container>/<path>
• abfs://<container>/<path>

Список поддерживаемых параметров хранилища для Azure см. здесь.

>>> table_path = "az://container/path/to/delta-table/"
>>> storage_options = {
...     "AZURE_STORAGE_ACCOUNT_NAME": "AZURE_STORAGE_ACCOUNT_NAME",
...     "AZURE_STORAGE_ACCOUNT_KEY": "AZURE_STORAGE_ACCOUNT_KEY",
... }
>>> pl.read_delta(table_path, storage_options=storage_options)  

Считывает таблицу Delta с дополнительными параметрами, специфичными для Delta. В приведённом ниже примере используется параметр without_files, который загружает таблицу без сведений об отслеживании файлов.

>>> table_path = "/path/to/delta-table/"
>>> delta_table_options = {"without_files": True}
>>> pl.read_delta(
...     table_path, delta_table_options=delta_table_options
... )