polars.collect_all_async

polars.collect_all_async(
    lazy_frames: Iterable[LazyFrame],
    *,
    gevent: bool = False,
    engine: EngineType = 'auto',
    optimizations: QueryOptFlags = (,
), ) → Awaitable[list[DataFrame]] | _GeventDataFrameResult[list[DataFrame]]

Асинхронно собирает несколько LazyFrame одновременно в пуле потоков.

Предупреждение

Эта функциональность считается нестабильной. Она может быть изменена в любой момент без того, чтобы это считалось нарушением обратной совместимости.

Собирает данные в список DataFrame (как polars.collect_all()), но вместо непосредственного возврата они ставятся в очередь для сбора внутри пула потоков, а этот метод возвращает управление практически мгновенно.

Может быть полезно, если вы используете gevent или asyncio и хотите передать управление другим greenlet-задачам/задачам, пока собираются LazyFrame.

Параметры:

lazy_frames

Список LazyFrame для сбора.

gevent

Возвращает обёртку для gevent.event.AsyncResult вместо Awaitable

optimizations

Этапы оптимизации, выполняемые при оптимизации запроса.

Предупреждение

Эта функциональность считается нестабильной. Она может быть изменена в любой момент без того, чтобы это считалось нарушением обратной совместимости.

engine

Выберите движок для обработки запроса (по умолчанию "auto"). Также можно передать экземпляр Engine. Поддерживаются следующие названия движков:

• "auto": использует движок, заданный с помощью Config.set_engine_affinity или переменной окружения POLARS_ENGINE_AFFINITY; если значение не задано, используется "in-memory" (это значение по умолчанию может измениться в будущей версии).
• "in-memory": использует движок для обработки в памяти; это движок по умолчанию.
• "streaming": использует потоковый движок, который обрабатывает запросы пакетами, снижая нагрузку на память и часто превосходя по производительности движок для обработки в памяти. Вскоре он станет движком Polars по умолчанию.
• "gpu": использует движок CUDA для GPU (требуется графический процессор Nvidia и cudf-polars). Для точной настройки (например, выбора устройства в системах с несколькими GPU) передайте объект GPUEngine.

Если выбранный движок не может выполнить запрос, Polars переключается на движок для обработки в памяти.

Примечание

Движок GPU не поддерживает асинхронное выполнение или запуск в фоновом режиме. Если включён хотя бы один из этих режимов, выполнение на GPU отключается.

Возвращает:

If gevent=False (default) then returns awaitable.

If gevent=True then returns wrapper that has

.get(block=True, timeout=None) method.

См. также

polars.collect_all

Собирает несколько LazyFrame одновременно.

LazyFrame.collect_async

Собирает один фрейм.

Примечания

В случае ошибки set_exception используется для asyncio.Future/gevent.event.AsyncResult, которые повторно вызовут исключение.