Инструменты ввода-вывода (текст, CSV, HDF5, ...)

API ввода-вывода pandas — это набор функций верхнего уровня reader , к которым обращаются как pd.read_csv(), которые, как правило, возвращают объект pandas. Соответствующие функции writer являются методами объекта, к которым обращаются как df.to_csv()

Здесь представлено сравнение производительности некоторых из этих методов ввода-вывода.

CSV и текстовые файлы

Две основные функции для чтения текстовых файлов (также называемых плоскими файлами) — это read_csv() и read_table(). Оба они используют один и тот же код анализа, чтобы интеллектуально преобразовать табличные данные в объект DataFrame. См. пособие для некоторых продвинутых стратегий.

Параметры анализа

read_csv() и read_table() принимают следующие аргументы:

Основные

filepath_or_buffer : various

Путь к файлу (строка str, pathlib.Path или py._path.local.LocalPath), URL (включая http, ftp и S3-местоположения) или любой объект с методом read() (например, открытый файл или StringIO).

sep : str, defaults to ',' for read_csv(), \t for read_table()

Разделитель для использования. Если sep является None, движок C не может автоматически определить разделитель, но движок Python может, что означает, что последний будет автоматически использован. Кроме того, разделители, длина которых больше 1 символа и отличные от '\s+', будут интерпретироваться как регулярные выражения и также будут принудительно использовать движок Python. Обратите внимание, что разделители с использованием регулярных выражений могут игнорировать данные в кавычках. Пример регулярного выражения: '\\r\\t'.

delimiter : str, default None

Альтернативное имя аргумента для sep.

delim_whitespace : boolean, default False

Указывает, будут ли пробелы (например, ' ' или '\t') использоваться в качестве разделителя. Эквивалентно установке sep='\s+'. Если этот параметр установлен в True, для параметра delimiter ничего не должно передаваться.

Введено в версии 0.18.1: поддержка парсера Python.

Расположение и имена столбцов и индексов

header : int or list of ints, default 'infer'

Номер(а) строки(ок) для использования в качестве имён столбцов и начала данных. По умолчанию поведение такое же, как если бы header=0 если не передано names, иначе, как если бы header=None. Явно передайте header=0 для возможности замены существующих имён. Заголовок может быть списком целых чисел, которые указывают расположение строк для многоуровневого индекса столбцов, например, [0,1,3]. Промежуточные строки, которые не указаны, будут пропущены (например, 2 в этом примере пропущен). Обратите внимание, что этот параметр игнорирует строки с комментариями и пустые строки, если skip_blank_lines=True, поэтому header=0 обозначает первую строку данных, а не первую строку файла.

names : array-like, default None

Список имён столбцов для использования. Если файл не содержит строки заголовка, то необходимо явно передать header=None. Дубликаты в этом списке недопустимы, если не mangle_dupe_cols=True, что является значением по умолчанию.

index_col : int or sequence or False, default None

Столбец для использования в качестве меток строк DataFrame. Если задана последовательность, используется многоуровневый индекс. Если у вас есть повреждённый файл с разделителями в конце каждой строки, вы можете рассмотреть возможность использования index_col=False для принудительного отказа pandas от использования первого столбца в качестве индекса (имен строк).

usecols : array-like or callable, default None

Возвращает подмножество столбцов. Если это массив, все элементы должны быть либо позиционными (т. е. целочисленными индексами в столбцах документа), либо строками, которые соответствуют именам столбцов, предоставленным пользователем в names или выведенными из строки(ок) заголовка документа. Например, допустимым массивоподобным значением для параметра usecols являются [0, 1, 2] или [‘foo’, ‘bar’, ‘baz’].

Если это вызываемая функция, вызываемая функция будет оцениваться по именам столбцов, возвращая имена, где вызываемая функция возвращает True:

In [1]: data = 'col1,col2,col3\na,b,1\na,b,2\nc,d,3'

In [2]: pd.read_csv(StringIO(data))
Out[2]: 
  col1 col2  col3
0    a    b     1
1    a    b     2
2    c    d     3

In [3]: pd.read_csv(StringIO(data), usecols=lambda x: x.upper() in ['COL1', 'COL3'])