polars.scan_ndjson

polars.scan_ndjson(
    source: str | Path | IO[str] | IO[bytes] | bytes | list[str] | list[Path] | list[IO[str]] | list[IO[bytes]],
    *,
    schema: SchemaDefinition | None = None,
    schema_overrides: SchemaDefinition | None = None,
    infer_schema_length: int | None = 100,
    batch_size: int | None = 1024,
    n_rows: int | None = None,
    low_memory: bool = False,
    rechunk: bool | None = None,
    row_index_name: str | None = None,
    row_index_offset: int = 0,
    ignore_errors: bool = False,
    storage_options: StorageOptionsDict | None = None,
    credential_provider: CredentialProviderFunction | Literal['auto'] | None = 'auto',
    retries: int | None = None,
    file_cache_ttl: int | None = None,
    include_file_paths: str | None = None,
) → LazyFrame

Лениво считывает данные из файла JSON с разделителями строк или нескольких файлов, заданных шаблонами glob.

Это позволяет оптимизатору запросов применять предикаты и проекции на уровне сканирования, что потенциально снижает нагрузку на память.

Изменено в версии 0.20.4: * Параметр row_count_name переименован в row_index_name. * Параметр row_count_offset переименован в row_index_offset.

Параметры:

source

Путь к файлу.

schemaSequence of str, (str,DataType) pairs, or a {str:DataType,} dict

Схему DataFrame можно задать несколькими способами:

• В виде словаря пар {имя:тип}; если тип равен None, он будет определён автоматически.
• В виде списка имён столбцов; в этом случае типы определяются автоматически.
• В виде списка пар (имя, тип); это эквивалентно форме словаря.

Если указанный список имён столбцов не соответствует именам в исходных данных, заданные здесь имена заменят их. Число имён в схеме должно соответствовать размерности исходных данных.

schema_overridesdict, default None

Поддерживает указание или переопределение типов одного или нескольких столбцов; обратите внимание, что любые типы данных, выведенные из параметра schema, будут переопределены.

infer_schema_length

Максимальное количество строк для сканирования при выводе схемы. Если задано значение None, может быть просканирован весь набор данных (это медленно).

batch_size

Количество строк, считываемых за один пакет.

n_rows

Прекратить чтение файла JSON после считывания n_rows.

low_memory

Снизить нагрузку на память за счёт производительности.

rechunk

Перераспределить данные в непрерывную область памяти после разбора всех фрагментов/файлов.

Устарело с версии 1.43.2: Сначала соберите данные в DataFrame, затем вызовите rechunk для возвращённого DataFrame.

row_index_name

Если значение не None, в DataFrame будет добавлен столбец с индексом строк и указанным именем.

row_index_offset

Смещение, с которого начинается столбец индекса строк (используется только в том случае, если задано имя)

ignore_errors

Возвращать Null, если разбор завершился ошибкой из-за несовпадения схем.

storage_options

Параметры, указывающие, как подключиться к облачному провайдеру.

В настоящее время поддерживаются облачные провайдеры AWS, GCP и Azure. Поддерживаемые ключи см. здесь:

• aws
• gcp
• azure
• Hugging Face (hf://): принимает ключ API в параметре token: {'token': '...'} или через переменную среды HF_TOKEN.

Если storage_options не указан, Polars попытается определить эту информацию по переменным среды.

credential_provider

Функция, которую можно вызвать для получения учётных данных облачного хранилища. Функция должна возвращать словарь с ключами учётных данных и необязательным сроком их действия.

Предупреждение

Эта возможность считается нестабильной. Она может быть изменена в любой момент, и такое изменение не будет считаться нарушением обратной совместимости.

retries

Количество повторных попыток при сбое доступа к облачному экземпляру.

Устарело с версии 1.37.1: Вместо этого передайте {“max_retries”: n} через storage_options.

file_cache_ttl

Время в секундах, в течение которого загруженные облачные файлы хранятся с момента последнего обращения к ним. Если значение не задано, используется переменная среды POLARS_FILE_CACHE_TTL (по умолчанию — 1 час).

Устарело с версии 1.39.0: Кэширование файлов больше не поддерживается.

include_file_paths

Добавить путь к исходному файлу или файлам в столбец с указанным именем.