polars.DataFrame.write_ipc

DataFrame.write_ipc(
    file: str | Path | IO[bytes] | None,
    *,
    compression: IpcCompression = 'uncompressed',
    compat_level: CompatLevel | None = None,
    record_batch_size: int | None = None,
    storage_options: StorageOptionsDict | None = None,
    credential_provider: CredentialProviderFunction | Literal['auto'] | None = 'auto',
    retries: int | None = None,
) → BytesIO | None

Записать данные в двоичный поток Arrow IPC или файл Feather.

См. раздел «Формат файла или произвольного доступа» в https://arrow.apache.org/docs/python/ipc.html.

Изменено в версии 1.1: Параметр future переименован в compat_level.

Параметры:

file

Путь или файловый объект с поддержкой записи, в который будут записаны данные IPC. Если задано значение None, результат возвращается в виде объекта BytesIO.

compression{‘uncompressed’, ‘lz4’, ‘zstd’}

Метод сжатия. По умолчанию — «uncompressed».

compat_level

Использовать определённый уровень совместимости при экспорте внутренних структур данных Polars.

record_batch_size

Размер пакетов записей, выраженный в количестве строк.

Предупреждение

Эта функциональность считается нестабильной. Она может быть изменена в любой момент без необходимости считать это несовместимым изменением.

storage_options

Параметры, определяющие способ подключения к облачному провайдеру.

В настоящее время поддерживаются следующие облачные провайдеры: AWS, GCP и Azure. Список поддерживаемых ключей:

• aws
• gcp
• azure
• Hugging Face (hf://): принимает ключ API в параметре token: {'token': '...'} или через переменную окружения HF_TOKEN.

Если storage_options не задан, Polars попытается получить эту информацию из переменных окружения.

credential_provider

Функция, которую можно вызвать для получения учётных данных облачного хранилища. Функция должна возвращать словарь с ключами учётных данных и необязательным сроком их действия.

Предупреждение

Эта функциональность считается нестабильной. Она может быть изменена в любой момент без необходимости считать это несовместимым изменением.

retries

Количество повторных попыток при сбое доступа к облачному экземпляру.

Устарело с версии 1.37.1: Вместо этого передайте {“max_retries”: n} через storage_options.

Примеры

>>> import pathlib
>>>
>>> df = pl.DataFrame(
...     {
...         "foo": [1, 2, 3, 4, 5],
...         "bar": [6, 7, 8, 9, 10],
...         "ham": ["a", "b", "c", "d", "e"],
...     }
... )
>>> path: pathlib.Path = dirpath / "new_file.arrow"
>>> df.write_ipc(path)

Запишите данные в объект BytesIO, передав file=None. Позиция возвращённого буфера находится в конце записанных данных, поэтому перед чтением вызовите seek(0).

>>> buf = df.write_ipc(file=None)
>>> buf.seek(0)
0
>>> pl.read_ipc(buf).equals(df)
True