polars.LazyFrame.remote

LazyFrame.remote(
    context: pc.ClientContext | None = None,
    *,
    plan_type: pc._typing.PlanTypePreference = 'dot',
    n_retries: int = 0,
    engine: pc._typing.Engine = 'auto',
    scaling_mode: pc._typing.ScalingMode = 'auto',
) → pc.LazyFrameRemote

Удалённое выполнение запроса в Polars Cloud.

Это позволяет удалённо запускать Polars на одном или нескольких рабочих узлах, используя различные стратегии распределённых вычислений.

Подробнее см. в публикации-анонсе

Параметры:

context

Контекст вычислений, в котором выполняются запросы. Если он не указан, будет использоваться контекст по умолчанию.

plan_type: {‘plain’, ‘dot’}

Определяет, нужно ли выводить DOT-диаграмму или текстовую версию логического плана.

n_retries:

Количество повторных попыток выполнения этапа при сбое.

engine: {‘auto’, ‘streaming’, ‘in-memory’}

Подсказка для Polars, какой движок следует предпочесть. Её можно не учитывать.

scaling_mode: {‘auto’, ‘single-node’, ‘distributed’}

Если задано значение auto, запрос, для которого режим масштабирования явно не указан с помощью remote().distributed() или remote().single_node(), будет выполняться в распределённом режиме, если кластер состоит более чем из одного узла.

Примеры

Выполнение запроса в облачном экземпляре.

>>> lf = pl.LazyFrame([1, 2, 3]).sum()
>>> in_progress = lf.remote().execute(blocking=False)  
>>> # do some other work
>>> in_progress.await_result()  
shape: (1, 1)
┌──────────┐
│ column_0 │
│ ---      │
│ i64      │
╞══════════╡
│ 6        │
└──────────┘

Явное выполнение запроса в распределённом режиме.

>>> lf = (
...     pl.scan_parquet("s3://my_bucket/").group_by("key").agg(pl.sum("values"))
... )
>>> result = lf.remote().distributed().execute()  
shape: (1, 1)
┌──────────┐
│ column_0 │
│ ---      │
│ i64      │
╞══════════╡
│ 6        │
└──────────┘