Инструменты Ввода-Вывода (Текст, CSV, HDF5, …)

API pandas для ввода-вывода — это набор основных reader функций, к которым обращаются так, как к pandas.read_csv(), которые обычно возвращают объект pandas. Соответствующие writer функции — это методы объектов, к которым обращаются так, как к DataFrame.to_csv(). Ниже приведена таблица, содержащая доступные readers и writers.

Здесь представлено сравнение производительности некоторых из этих методов ввода-вывода.

CSV и текстовые файлы

Функцией по умолчанию для чтения текстовых файлов (также называемых плоскими файлами) является read_csv(). Смотрите справочник для некоторых продвинутых стратегий.

Параметры разбора

read_csv() принимает следующие стандартные аргументы:

Основные

filepath_or_buffer : various

Путь к файлу (a str, pathlib.Path или py._path.local.LocalPath), URL (включая http, ftp и S3), или любой объект с методом read() (например, открытый файл или StringIO).

sep : str, defaults to ',' for read_csv(), \t for read_table()

Разделитель. Если sep = None, движок C не может автоматически определить разделитель, но движок Python может, что означает, что последний будет использоваться и автоматически определять разделитель с помощью встроенного инструмента распознавания Python, csv.Sniffer. Кроме того, разделители длиной более 1 символа и отличные от '\s+' будут интерпретироваться как регулярные выражения и также принудительно будут использовать движок Python. Обратите внимание, что разделители-регулярные выражения могут игнорировать данные в кавычках. Пример регулярного выражения: '\\r\\t'.

delimiter : str, default None

Альтернативное имя аргумента для sep.

delim_whitespace : boolean, default False

Указывает, используется ли пробел (например, ' ' или '\t') в качестве разделителя. Эквивалентно установке sep='\s+'. Если этот параметр установлен в True, для параметра delimiter ничего не должно передаваться.

Добавлено в версии 0.18.1: поддержка парсера Python.

Расположение и имена столбцов и индексов

header : int or list of ints, default 'infer'

Номер(а) строки для использования в качестве имен столбцов и начала данных. По умолчанию имена столбцов выводятся: если имена не переданы, поведение идентично header=0, и имена столбцов выводятся из первой строки файла; если имена столбцов явно переданы, поведение идентично header=None. Явно передайте header=0 для возможности замены существующих имен.

Заголовок может быть списком целых чисел, которые указывают позиции строк для MultiIndex столбцов, например [0,1,3]. Промежуточные строки, которые не указаны, будут пропущены (например, 2 в данном примере пропущена). Обратите внимание, что этот параметр игнорирует комментарии и пустые строки, если skip_blank_lines=True, поэтому header=0 обозначает первую строку данных, а не первую строку файла.

names : array-like, default None

Список имен столбцов для использования. Если файл не содержит строку заголовка, вы должны явно передать header=None. Повторения в этом списке приведут к выдаче UserWarning.

index_col : int or sequence or False, default None

Столбец для использования в качестве меток строк DataFrame. Если передана последовательность, используется MultiIndex. Если у вас есть неверно сформированный файл с разделителями в конце каждой строки, вы можете рассмотреть index_col=False для принудительного отказа pandas от использования первого столбца в качестве индекса (имен строк).

usecols : list-like or callable, default None

Возвращает подмножество столбцов. Если список, все элементы должны быть либо позиционными (т.е. целочисленными индексами столбцов документа), либо строками, соответствующими именам столбцов, предоставленными пользователем в names или выведенными из строки(ок) заголовка документа. Например, допустимым списком-параметром usecols является [0, 1, 2] или ['foo', 'bar', 'baz'].

Порядок элементов игнорируется, поэтому usecols=[0, 1] эквивалентно [1, 0]. Для создания DataFrame из data с сохранением порядка элементов используйте pd.read_csv(data, usecols=['foo', 'bar'])[['foo', 'bar']] для столбцов в порядке ['foo', 'bar'] или pd.read_csv(data, usecols=['foo', 'bar'])[['bar', 'foo']] для порядка ['bar', 'foo'].

Если это вызываемый объект, вызываемая функция будет вычислена по именам столбцов, возвращая имена, где вызываемая функция равна True:

In [1]: from pandas.compat import StringIO, BytesIO

In [2]: data = ('col1,col2,col3\n'
   ...:         'a,b,1\n'
   ...:         'a,b,2\n'
   ...:         'c,d,3')
   ...: 

In [3]: pd.read_csv(StringIO(data))
Out[3]: 
  col1 col2  col3
0    a    b     1
1    a    b     2
2    c    d     3

In [4]: pd.read_csv(StringIO(data), usecols=lambda x: x.upper() in ['COL1', 'COL3'])