polars.DataFrame.iter_slices

DataFrame.iter_slices(
    n_rows: int = 10000,
) → Iterator[DataFrame]

Возвращает итератор срезов базового DataFrame без копирования.

Параметры:

n_rows

Определяет количество строк в каждом срезе DataFrame.

См. также

iter_rows

Итератор строк данных фрейма (не материализует все строки).

partition_by

Разбивает данные на несколько DataFrame по группам.

Примеры

>>> from datetime import date
>>> df = pl.DataFrame(
...     data={
...         "a": range(17_500),
...         "b": date(2023, 1, 1),
...         "c": "klmnoopqrstuvwxyz",
...     },
...     schema_overrides={"a": pl.Int32},
... )
>>> for idx, frame in enumerate(df.iter_slices()):
...     print(f"{type(frame).__name__}:[{idx}]:{len(frame)}")
DataFrame:[0]:10000
DataFrame:[1]:7500

Использование iter_slices — эффективный способ выполнять итерацию по DataFrame блоками, а также экспортировать или преобразовывать фреймы в любые поддерживаемые форматы; например, в RecordBatches:

>>> for frame in df.iter_slices(n_rows=15_000):
...     record_batch = frame.to_arrow().to_batches()[0]
...     print(f"{record_batch.schema}\n<< {len(record_batch)}")
a: int32
b: date32[day]
c: large_string
<< 15000
a: int32
b: date32[day]
c: large_string
<< 2500