polars.scan_delta

polars.scan_delta(
    source: str | Path | DeltaTable,
    *,
    version: int | str | datetime | None = None,
    storage_options: StorageOptionsDict | None = None,
    credential_provider: CredentialProviderFunction | Literal['auto'] | None = 'auto',
    delta_table_options: dict[str,
    Any] | None = None,
    use_pyarrow: bool = False,
    pyarrow_options: dict[str,
    Any] | None = None,
    rechunk: bool | None = None,
) → LazyFrame

Лениво читает таблицу Delta Lake.

Параметры:

source

DeltaTable, путь или URI к корню таблицы Delta Lake.

Примечание: для локальной файловой системы поддерживаются абсолютные и относительные пути, но для поддерживаемых объектных хранилищ — GCS, Azure и S3 — необходимо указать полный URI.

version

Числовая версия или версия с отметкой времени таблицы Delta Lake.

Примечание: если version не указана, считывается последняя версия таблицы Delta Lake.

storage_options

Дополнительные параметры для поддерживаемых deltalake хранилищ. Для облачных хранилищ они могут включать настройки аутентификации и т. д.

Подробнее здесь.

credential_provider

Функция, которую можно вызвать для предоставления учетных данных облачного хранилища. Ожидается, что функция вернет словарь с ключами учетных данных и необязательным временем истечения срока их действия.

Предупреждение

Эта функциональность считается нестабильной. Она может быть изменена в любой момент без того, чтобы это считалось несовместимым изменением.

delta_table_options

Дополнительные именованные аргументы при чтении таблицы Delta Lake.

use_pyarrow

Флаг для включения чтения наборов данных с помощью pyarrow.

pyarrow_options

Именованные аргументы при преобразовании таблицы Delta Lake в таблицу pyarrow. Используйте этот параметр при фильтрации по секционированным столбцам или для чтения из файловой системы, поддерживаемой ‘fsspec’.

rechunk

Обеспечивает непрерывное расположение всех столбцов в памяти, объединяя фрагменты в один массив.

Устарело с версии 1.43.2: Сначала соберите данные в DataFrame, затем вызовите rechunk для возвращенного DataFrame.

Возвращает:

LazyFrame

Примеры

Создает сканирование таблицы Delta из локальной файловой системы. Примечание: поскольку версия не указана, считывается последняя версия таблицы Delta.

>>> table_path = "/path/to/delta-table/"
>>> pl.scan_delta(table_path).collect()  

Создает сканирование указанной версии таблицы Delta из локальной файловой системы. Примечание: операция завершится ошибкой, если указанной версии таблицы Delta не существует.

>>> pl.scan_delta(table_path, version=1).collect()  

Выполняет перемещение во времени по таблице Delta из локальной файловой системы, используя версию с отметкой времени.

>>> pl.scan_delta(
...     table_path, version=datetime(2020, 1, 1, tzinfo=timezone.utc)
... ).collect()  

Создает сканирование таблицы Delta из AWS S3. Список поддерживаемых параметров хранилища для S3 см. здесь.

>>> table_path = "s3://bucket/path/to/delta-table/"
>>> storage_options = {
...     "AWS_REGION": "eu-central-1",
...     "AWS_ACCESS_KEY_ID": "THE_AWS_ACCESS_KEY_ID",
...     "AWS_SECRET_ACCESS_KEY": "THE_AWS_SECRET_ACCESS_KEY",
... }
>>> pl.scan_delta(
...     table_path, storage_options=storage_options
... ).collect()  

Создает сканирование таблицы Delta из Google Cloud Storage (GCS). Список поддерживаемых параметров хранилища для GCS см. здесь.

>>> table_path = "gs://bucket/path/to/delta-table/"
>>> storage_options = {"SERVICE_ACCOUNT": "SERVICE_ACCOUNT_JSON_ABSOLUTE_PATH"}
>>> pl.scan_delta(
...     table_path, storage_options=storage_options
... ).collect()  

Создает сканирование таблицы Delta из Azure. Поддерживаемые параметры для Azure доступны здесь.

Поддерживаются следующие типы путей к таблицам:

• az://<container>/<path>
• adl://<container>/<path>
• abfs[s]://<container>/<path>

>>> table_path = "az://container/path/to/delta-table/"
>>> storage_options = {
...     "AZURE_STORAGE_ACCOUNT_NAME": "AZURE_STORAGE_ACCOUNT_NAME",
...     "AZURE_STORAGE_ACCOUNT_KEY": "AZURE_STORAGE_ACCOUNT_KEY",
... }
>>> pl.scan_delta(
...     table_path, storage_options=storage_options
... ).collect()  

Создает сканирование таблицы Delta с дополнительными параметрами, специфичными для Delta. В приведенном ниже примере используется параметр without_files, который загружает таблицу без информации об отслеживании файлов.

>>> table_path = "/path/to/delta-table/"
>>> delta_table_options = {"without_files": True}
>>> pl.scan_delta(
...     table_path, delta_table_options=delta_table_options
... ).collect()