IO Tools (Текст, CSV, HDF5, ...)

API pandas I/O — это набор основных reader функций, к которым обращаются как pd.read_csv(), которые обычно возвращают pandas объект. Соответствующие writer функции являются методами объекта, к которым обращаются как df.to_csv()

Здесь представлено неформальное сравнение производительности для некоторых из этих методов IO.

CSV & Текстовые файлы

Две наиболее часто используемые функции для чтения текстовых файлов (также известных как плоские файлы) — это read_csv() и read_table(). Оба они используют один и тот же код анализа для интеллектуального преобразования табличных данных в объект DataFrame. Смотрите пособие для некоторых расширенных стратегий.

Параметры анализа

read_csv() и read_table() принимают следующие аргументы:

Основные

filepath_or_buffer : various

Путь к файлу (строка str, pathlib.Path или py._path.local.LocalPath), URL (включая http, ftp и S3-местоположения) или любой объект с методом read() (например, открытый файл или StringIO).

sep : str, defaults to ',' for read_csv(), \t for read_table()

Разделитель для использования. Если sep является None, C-движок не может автоматически определить разделитель, но Python-движок анализа может, что означает, что последний будет использоваться и автоматически определять разделитель с помощью встроенного инструмента анализа Python, csv.Sniffer. Кроме того, разделители, длина которых превышает 1 символ и отличные от '\s+' , будут интерпретироваться как регулярные выражения и также принудительно будут использовать Python-движок анализа. Обратите внимание, что разделители регулярных выражений склонны игнорировать цитированные данные. Пример регулярного выражения: '\\r\\t'.

delimiter : str, default None

Альтернативное имя аргумента для sep.

delim_whitespace : boolean, default False

Указывает, будет ли пробел (например, ' ' или '\t') использоваться в качестве разделителя. Эквивалентно установлению sep='\s+'. Если этот параметр установлен в True, для параметра delimiter ничего не должно передаваться.

Добавлено в версии 0.18.1: поддержка Python-парсера.

Расположение и имена столбцов и индексов

header : int or list of ints, default 'infer'

Номер(а) строки, которые будут использоваться в качестве имен столбцов, и начало данных. По умолчанию имена столбцов выводятся: если имена не переданы, поведение идентично header=0, и имена столбцов выводятся из первой строки файла, если имена столбцов явно переданы, то поведение идентично header=None. Явно передайте header=0, чтобы заменить существующие имена.

Заголовок может быть списком целых чисел, которые указывают расположение строки для многоуровневого индекса по столбцам, например, [0,1,3]. Промежуточные строки, которые не указаны, будут пропущены (например, 2 в данном примере пропускается). Обратите внимание, что этот параметр игнорирует строки с комментариями и пустые строки, если skip_blank_lines=True, поэтому header=0 обозначает первую строку данных, а не первую строку файла.

names : array-like, default None

Список имен столбцов для использования. Если файл не содержит строки заголовка, то вы должны явно передать header=None. Повторения в этом списке вызовут

предупреждение UserWarning.

index_col : int or sequence or False, default None

Столбец, используемый в качестве меток строк DataFrame. Если задана последовательность, используется MultiIndex. Если у вас есть неправильно сформированный файл с разделителями в конце каждой строки, можно рассмотреть index_col=False для принудительного отказа pandas от использования первого столбца в качестве индекса (имен строк).

usecols : array-like or callable, default None

Возвращает подмножество столбцов. Если это массив, все элементы должны быть либо позиционными (т.е. целочисленные индексы в столбцах документа), либо строками, соответствующими именам столбцов, предоставленным пользователем в names или выведенными из строки заголовка(ов) документа. Например, допустимым массивоподобным значением параметра usecols будет [0, 1, 2] или [‘foo’, ‘bar’, ‘baz’].

Если это вызываемый объект, вызываемый объект будет оцениваться по именам столбцов, возвращая имена, где вызываемый объект принимает значение True:

In [1]: data = 'col1,col2,col3\na,b,1\na,b,2\nc,d,3'

In [2]: pd.read_csv(StringIO(data))
Out[2]: 
  col1 col2  col3
0    a    b     1
1    a    b     2
2    c    d     3

In [3]: pd.read_csv(StringIO(data), usecols=lambda x: x.upper() in ['COL1', 'COL3'])