polars.scan_ipc

polars.scan_ipc(
    source: str | Path | IO[bytes] | bytes | list[str] | list[Path] | list[IO[bytes]] | list[bytes],
    *,
    n_rows: int | None = None,
    cache: bool | None = None,
    rechunk: bool | None = None,
    row_index_name: str | None = None,
    row_index_offset: int = 0,
    glob: bool = True,
    storage_options: StorageOptionsDict | None = None,
    credential_provider: CredentialProviderFunction | Literal['auto'] | None = 'auto',
    memory_map: bool = True,
    retries: int | None = None,
    file_cache_ttl: int | None = None,
    hive_partitioning: bool | None = None,
    hive_schema: SchemaDict | None = None,
    try_parse_hive_dates: bool = True,
    include_file_paths: str | None = None,
    _record_batch_statistics: bool = False,
) → LazyFrame

Лениво считывает данные из файла Arrow IPC (Feather v2) или нескольких файлов, используя шаблоны glob.

Это позволяет оптимизатору запросов переносить предикаты и проекции на уровень сканирования, что потенциально снижает накладные расходы на использование памяти.

Изменено в версии 0.20.4: * Параметр row_count_name был переименован в row_index_name. * Параметр row_count_offset был переименован в row_index_offset.

Параметры:

source

Путь или пути к файлу либо каталогу. Если для сканирования облачных хранилищ требуется аутентификация, см. параметр storage_options.

n_rows

Прекратить чтение файла IPC после считывания n_rows.

cache

Кэшировать результат после чтения.

Устарело начиная с версии 1.40.0: Кэширование файлов больше не поддерживается.

rechunk

Перераспределить данные в непрерывную область памяти после разбора всех блоков/файлов.

Устарело начиная с версии 1.43.2: Сначала соберите данные в DataFrame, а затем вызовите rechunk для возвращённого DataFrame.

row_index_name

Если значение не None, в DataFrame будет добавлен столбец с индексами строк с указанным именем.

row_index_offset

Смещение, с которого начинается столбец с индексами строк (используется, только если задано имя)

glob

Разворачивать путь, заданный с помощью шаблонов glob.

storage_options

Параметры, определяющие способ подключения к облачному провайдеру.

В настоящее время поддерживаются облачные провайдеры AWS, GCP и Azure. Список поддерживаемых ключей:

• aws
• gcp
• azure
• Hugging Face (hf://): принимает ключ API в параметре token: {'token': '...'} либо при задании переменной окружения HF_TOKEN.

Если storage_options не задан, Polars попытается получить необходимые сведения из переменных окружения.

credential_provider

Функция, которую можно вызвать для получения учётных данных облачного хранилища. Функция должна возвращать словарь ключей учётных данных и, при необходимости, время истечения срока их действия.

Предупреждение

Эта функциональность считается нестабильной. Она может быть изменена в любой момент, и такие изменения не будут считаться нарушающими совместимость.

memory_map

Попытаться отобразить файл в память. Это может значительно повысить производительность при повторных запросах, поскольку ОС может кэшировать страницы. Сопоставление с памятью возможно только для несжатых файлов IPC.

Устарело начиная с версии 1.40.0: Управление поведением сопоставления с памятью больше не поддерживается.

retries

Количество повторных попыток при сбое доступа к облачному экземпляру.

Устарело начиная с версии 1.37.1: Передайте {“max_retries”: n} через storage_options.

file_cache_ttl

Время в секундах, в течение которого загруженные облачные файлы хранятся с момента последнего обращения к ним. Если значение не задано, используется переменная окружения POLARS_FILE_CACHE_TTL (по умолчанию — 1 час).

Устарело начиная с версии 1.40.0: Кэширование файлов больше не поддерживается.

hive_partitioning

Определять статистику и схему по URL с разбиением на разделы Hive и использовать их для отсечения данных при чтении. По умолчанию значение не задано (то есть None), поэтому функция автоматически включается, если передан один каталог, и отключается в остальных случаях.

hive_schema

Имена и типы данных столбцов, по которым разбиты данные. Если задано значение None (по умолчанию), схема разделов Hive определяется автоматически.

Предупреждение

Эта функциональность считается нестабильной. Она может быть изменена в любой момент, и такие изменения не будут считаться нарушающими совместимость.

try_parse_hive_dates

Следует ли пытаться разбирать значения Hive как типы date/datetime.

include_file_paths

Добавить путь или пути к исходным файлам в виде столбца с указанным именем.