Инструменты Ввода-Вывода (Текст, CSV, HDF5, …)

API pandas для ввода-вывода — это набор основных reader функций, к которым обращаются как к pandas.read_csv(), которые обычно возвращают объект pandas. Соответствующие writer функции являются методами объектов, к которым обращаются как к DataFrame.to_csv(). Ниже приведена таблица, содержащая доступные readers и writers.

Здесь представлено сравнение производительности некоторых из этих методов ввода-вывода.

CSV и текстовые файлы

Две основные функции для чтения текстовых файлов (также называемых плоскими файлами) — это read_csv() и read_table(). Они оба используют один и тот же код разбора для интеллектуального преобразования табличных данных в объект DataFrame. См. кулинарную книгу для некоторых расширенных стратегий.

Параметры разбора

Функции read_csv() и read_table() принимают следующие общие аргументы:

Основные

filepath_or_buffer : various

Путь к файлу (строка, путь pathlib или py._path.local.LocalPath), URL (включая http, ftp и S3 расположения) или любой объект с методом read() (например, открытый файл или StringIO).

sep : str, defaults to ',' for read_csv(), \t for read_table()

Разделитель для использования. Если sep — None, C движок не может автоматически определить разделитель, но Python движок разбора может, что означает, что последний будет использоваться и автоматически определять разделитель с помощью встроенного инструмента распознавания Python, csv.Sniffer. Кроме того, разделители длиной более 1 символа и отличные от '\s+' будут интерпретироваться как регулярные выражения и также будут принудительно использовать Python движок разбора. Обратите внимание, что разделители-регулярные выражения склонны игнорировать данные в кавычках. Пример регулярного выражения: '\\r\\t'.

delimiter : str, default None

Альтернативное имя аргумента для sep.

delim_whitespace : boolean, default False

Указывает, будут ли пробелы (например, ' ' или '\t') использоваться в качестве разделителя. Эквивалентно установке sep='\s+'. Если этот параметр установлен в значение True, для параметра delimiter ничего не должно передаваться.

В версии 0.18.1: поддержка Python анализатора.

Позиции и имена столбцов и индексов

header : int or list of ints, default 'infer'

Номер(а) строки для использования в качестве имен столбцов и начала данных. По умолчанию имена столбцов выводятся: если имена не переданы, поведение идентично header=0, и имена столбцов выводятся из первой строки файла; если имена столбцов явно переданы, поведение идентично header=None. Явно передайте header=0, чтобы заменить существующие имена.

Заголовок может быть списком целых чисел, которые указывают расположение строк для многоуровневого индекса по столбцам, например [0,1,3]. Промежуточные строки, которые не указаны, будут пропущены (например, 2 в этом примере пропущен). Обратите внимание, что этот параметр игнорирует прокомментированные строки и пустые строки, если skip_blank_lines=True, поэтому header=0 обозначает первую строку данных, а не первую строку файла.

names : array-like, default None

Список имен столбцов для использования. Если файл не содержит строки заголовка, то вы должны явно передать header=None. Дубликаты в этом списке приведут к появлению UserWarning.

index_col : int or sequence or False, default None

Столбец для использования в качестве меток строк DataFrame. Если задана последовательность, используется многоуровневый индекс. Если у вас есть неправильно сформированный файл с разделителями в конце каждой строки, вы можете рассмотреть index_col=False для того, чтобы заставить pandas не использовать первый столбец в качестве индекса (имен строк).

usecols : list-like or callable, default None

Возвращает подмножество столбцов. Если список, все элементы должны быть либо позиционными (т.е. целочисленными индексами в столбцах документа), либо строками, соответствующими именам столбцов, предоставленным либо пользователем в names, либо выведенным из строки(ок) заголовка документа. Например, допустимым списковым параметром usecols будет [0, 1, 2] или ['foo', 'bar', 'baz'].

Порядок элементов игнорируется, поэтому usecols=[0, 1] равно [1, 0]. Чтобы создать DataFrame из data с сохранением порядка элементов, используйте pd.read_csv(data, usecols=['foo', 'bar'])[['foo', 'bar']] для столбцов в порядке ['foo', 'bar'] или pd.read_csv(data, usecols=['foo', 'bar'])[['bar', 'foo']] для ['bar', 'foo'] порядка.

Если это вызываемый объект, вызываемая функция будет вычислена по именам столбцов, возвращая имена, где вызываемая функция оценивается как True:

In [1]: data = 'col1,col2,col3\na,b,1\na,b,2\nc,d,3'

In [2]: pd.read_csv(StringIO(data))
Out[2]: 
  col1 col2  col3
0    a    b     1
1    a    b     2
2    c    d     3

In [3]: pd.read_csv(StringIO(data), usecols=lambda x: x.upper() in ['COL1', 'COL3'])