polars.LazyFrame.sink_iceberg

LazyFrame.sink_iceberg(
    target: str | pyiceberg.table.Table,
    *,
    mode: Literal['append',
    'overwrite'],
    schema_mode: Literal['merge',
    'overwrite'] | None = None,
    snapshot_properties: dict[str,
    str] | None = None,
    catalog: pyiceberg.catalog.Catalog | polars.io.iceberg.IcebergCatalogConfig | None = None,
    storage_options: StorageOptionsDict | None = None,
    engine: EngineType = 'auto',
) → DataFrame

Записать LazyFrame в таблицу Iceberg.

Предупреждение

В настоящее время эта функциональность считается нестабильной. Она может быть изменена в любой момент, и такие изменения не будут считаться нарушающими обратную совместимость.

Параметры:

target

Объект таблицы PyIceberg или строковый идентификатор «namespace.table_name».

mode{‘append’, ‘overwrite’}

Способ обработки существующих данных.

• Если задано значение «append», будут добавлены новые данные.
• Если задано значение «overwrite», таблица будет заменена новыми данными.

schema_mode{‘merge’, ‘overwrite’}

Способ обработки различий между входящей схемой и схемой таблицы.

Предупреждение

Эта функциональность считается нестабильной. Она может быть изменена в любой момент, и такие изменения не будут считаться нарушающими обратную совместимость.

• Если задано значение «merge», схема таблицы будет расширена входящими полями и совместимыми преобразованиями типов.
• Если задано значение «overwrite», схема таблицы будет заменена входящей схемой. Для этого требуется mode='overwrite'.
• Если задано значение None, схемы должны совпадать.

snapshot_properties

Пользовательские свойства, добавляемые к сводке снимка Iceberg.

catalog

Каталог PyIceberg, из которого загружается таблица, если переданный target является идентификатором таблицы.

storage_options

Дополнительные параметры для бэкендов хранилищ, поддерживаемых pyiceberg. Для облачных хранилищ сюда могут входить настройки аутентификации и т. д.

Подробнее см. здесь.

engine

Движок, используемый для формирования строк для локального средства записи pyiceberg.

Возвращает:

DataFrame

Содержит путь к новым метаданным.