polars.scan_lines

polars.scan_lines(
    source: str | Path | IO[str] | IO[bytes] | bytes | list[str] | list[Path] | list[IO[str]] | list[IO[bytes]],
    *,
    name: str = 'line',
    n_rows: int | None = None,
    row_index_name: str | None = None,
    row_index_offset: int = 0,
    glob: bool = True,
    storage_options: StorageOptionsDict | None = None,
    credential_provider: CredentialProviderFunction | Literal['auto'] | None = 'auto',
    include_file_paths: str | None = None,
) → LazyFrame

Создаёт LazyFrame, который считывает строки из файла в столбец со строками.

Предупреждение

Эта функциональность считается нестабильной. Она может быть изменена в любой момент без того, чтобы это считалось нарушающим обратную совместимость изменением.

Параметры:

source

Путь или пути к файлу либо каталогу. Если для сканирования облачных расположений требуется аутентификация, см. параметр storage_options.

name

Имя выходного столбца.

n_rows

Прекратить чтение файла parquet после считывания n_rows.

row_index_name

Если значение не None, в DataFrame будет добавлен столбец с индексом строки и указанным именем.

row_index_offset

Смещение, с которого начинается столбец с индексом строки (используется только при заданном имени).

glob

Разворачивать путь с использованием правил glob.

storage_options

Параметры, определяющие способ подключения к облачному провайдеру.

В настоящее время поддерживаются облачные провайдеры AWS, GCP и Azure. Список поддерживаемых ключей см. здесь:

• aws
• gcp
• azure
• Hugging Face (hf://): принимает API-ключ в параметре token: {'token': '...'} или через переменную окружения HF_TOKEN.

Если storage_options не указан, Polars попытается определить необходимые данные по переменным окружения.

credential_provider

Функция, вызываемая для получения учётных данных облачного хранилища. Функция должна возвращать словарь с ключами учётных данных и необязательным временем истечения срока их действия.

Предупреждение

Эта функциональность считается нестабильной. Она может быть изменена в любой момент без того, чтобы это считалось нарушающим обратную совместимость изменением.

include_file_paths

Добавить путь к исходному файлу или файлам в качестве столбца с указанным именем.

См. также

read_lines

Примеры

>>> pl.scan_lines(b"Hello\nworld").collect()
shape: (2, 1)
┌───────┐
│ line  │
│ ---   │
│ str   │
╞═══════╡
│ Hello │
│ world │
└───────┘