polars.collect_all

polars.collect_all(
    lazy_frames: Iterable[LazyFrame],
    *,
    type_coercion: bool = True,
    predicate_pushdown: bool = True,
    projection_pushdown: bool = True,
    simplify_expression: bool = True,
    no_optimization: bool = False,
    slice_pushdown: bool = True,
    comm_subplan_elim: bool = True,
    comm_subexpr_elim: bool = True,
    cluster_with_columns: bool = True,
    collapse_joins: bool = True,
    optimizations: QueryOptFlags = (,
), engine: EngineType = 'auto', lazy: bool = False, ) → list[DataFrame] | LazyFrame

Собирает несколько LazyFrame одновременно.

Все графы вычислений можно выполнить параллельно или объединить.

Для объединённого плана применяется устранение общих подзапросов, то есть расходящиеся запросы выполняются только один раз.

Параметры:

lazy_frames

Список LazyFrame для сбора.

type_coercion

Выполнять оптимизацию приведения типов.

Устарело с версии 1.30.0: Используйте параметры optimizations.

predicate_pushdown

Выполнять оптимизацию проталкивания предикатов.

Устарело с версии 1.30.0: Используйте параметры optimizations.

projection_pushdown

Выполнять оптимизацию проталкивания проекций.

Устарело с версии 1.30.0: Используйте параметры optimizations.

simplify_expression

Выполнять оптимизацию упрощения выражений.

Устарело с версии 1.30.0: Используйте параметры optimizations.

no_optimization

Отключить оптимизации.

Устарело с версии 1.30.0: Используйте параметры optimizations.

slice_pushdown

Оптимизация проталкивания срезов.

Устарело с версии 1.30.0: Используйте параметры optimizations.

comm_subplan_elim

Будет предпринята попытка кэшировать ветвящиеся под планы, возникающие при соединениях таблицы с самой собой или объединениях.

Устарело с версии 1.30.0: Используйте параметры optimizations.

comm_subexpr_elim

Общие подвыражения будут кэшироваться и использоваться повторно.

Устарело с версии 1.30.0: Используйте параметры optimizations.

cluster_with_columns

Объединять последовательные независимые вызовы with_columns

Устарело с версии 1.30.0: Используйте параметры optimizations.

collapse_joins

Объединять соединение и фильтры в более быстрое соединение

Устарело с версии 1.30.0: Используйте параметры optimizations.

optimizations

Этапы оптимизации, выполняемые при оптимизации запроса.

Предупреждение

Эта функциональность считается нестабильной. Она может быть изменена в любой момент без объявления таких изменений нарушающими обратную совместимость.

engine

Выбрать движок для обработки запроса (по умолчанию "auto"). Также можно передать экземпляр Engine. Поддерживаются следующие названия движков:

• "auto": использовать движок, заданный с помощью Config.set_engine_affinity или переменной окружения POLARS_ENGINE_AFFINITY; если они не заданы, использовать "in-memory" (это значение по умолчанию может измениться в будущем выпуске).
• "in-memory": использовать движок для обработки в памяти; это движок по умолчанию.
• "streaming": использовать потоковый движок, обрабатывающий запросы пакетами, что снижает нагрузку на память и зачастую превосходит по производительности движок для обработки в памяти. Вскоре он станет движком Polars по умолчанию.
• "gpu": использовать движок CUDA для GPU (требуется GPU Nvidia и cudf-polars). Для более точного управления (например, выбора устройства в системах с несколькими GPU) передайте объект GPUEngine.

Если выбранный движок не может выполнить запрос, Polars переключается на движок для обработки в памяти.

Примечание

Движок GPU не поддерживает асинхронное выполнение и фоновый режим. Если включён любой из этих режимов, выполнение на GPU отключается.

lazy:

Возвращать LazyFrame, который можно собрать позднее. Это корректно только в том случае, если все входные данные записываются на диск.

Предупреждение

Эта функциональность считается нестабильной. Она может быть изменена в любой момент без объявления таких изменений нарушающими обратную совместимость.

Возвращает:

список DataFrame

Собранные DataFrame в том же порядке, что и входные LazyFrame.