numpy.genfromtxt

numpy.genfromtxt(fname, dtype=<class 'float'>, comments='#', delimiter=None, skip_header=0, skip_footer=0, converters=None, missing_values=None, filling_values=None, usecols=None, names=None, excludelist=None, deletechars=" !#$%&'()*+, -./:;<=>?@[\]^{|}~", replace_space='_', autostrip=False, case_sensitive=True, defaultfmt='f%i', unpack=None, usemask=False, loose=True, invalid_raise=True, max_rows=None, encoding='bytes') [source]

Загрузка данных из текстового файла, с обработкой пропущенных значений, как указано.

Каждая строка после первых skip_header строк разделяется по символу delimiter, а символы после символа comments отбрасываются.

Параметры:

fname : file, str, pathlib.Path, list of str, generator Файл, имя файла, список или генератор для чтения. Если расширение имени файла gz или bz2, файл сначала распаковывается. Обратите внимание, что генераторы должны возвращать байтовые строки в Python 3k. Строки в списке или сгенерированные генератором обрабатываются как строки. dtype : dtype, optional Тип данных результирующего массива. Если None, типы данных будут определяться содержимым каждой колонки по отдельности. comments : str, optional Символ, используемый для обозначения начала комментария. Все символы, встречающиеся в строке после комментария, отбрасываются delimiter : str, int, or sequence, optional Строка, используемая для разделения значений. По умолчанию любые последовательные пробелы действуют как разделитель. Также можно указать целое число или последовательность целых чисел как ширину(ы) каждого поля. skiprows : int, optional skiprows был удален в numpy 1.10. Используйте skip_header вместо него. skip_header : int, optional Количество строк, которые нужно пропустить в начале файла. skip_footer : int, optional Количество строк, которые нужно пропустить в конце файла. converters : variable, optional Набор функций, преобразующих данные столбца в значение. Преобразователи также могут использоваться для задания значения по умолчанию для пропущенных данных: converters = {3: lambda s: float(s or 0)}. missing : variable, optional missing был удален в numpy 1.10. Используйте missing_values вместо него. missing_values : variable, optional Набор строк, соответствующих пропущенным данным. filling_values : variable, optional Набор значений, используемых по умолчанию, когда данные отсутствуют. usecols : sequence, optional Какие столбцы читать, где 0 — первый. Например, usecols = (1, 4, 5) извлечёт 2-й, 5-й и 6-й столбцы. names : {None, True, str, sequence}, optional Если names True, имена полей считываются из первой строки после первых skip_header строк. Эту строку можно дополнительно предварять разделителем комментариев. Если names является последовательностью или строкой с именами, разделёнными запятыми, эти имена будут использоваться для определения имён полей в структурированном типе данных. Если names None, будут использованы имена полей типа данных, если таковые имеются. excludelist : sequence, optional Список имён, которые нужно исключить. Этот список добавляется к стандартному списку [‘return’,’file’,’print’]. Исключенные имена добавляются с добавлением нижнего подчеркивания: например, file станет file_. deletechars : str, optional Строка, объединяющая недопустимые символы, которые необходимо удалить из имён. defaultfmt : str, optional Формат, используемый для определения имён полей по умолчанию, например, “f%i” или “f_%02i”. autostrip : bool, optional Автоматически обрезать пробелы из переменных. replace_space : char, optional Символ(ы), используемый(ые) для замены пробелов в именах переменных. По умолчанию используется ‘_’. case_sensitive : {True, False, ‘upper’, ‘lower’}, optional Если True, имена полей регистрозависимы. Если False или ‘upper’, имена полей преобразуются в верхний регистр. Если ‘lower’, имена полей преобразуются в нижний регистр. unpack : bool, optional Если True, результирующий массив транспонируется, так что аргументы могут быть распакованы с помощью x, y, z = loadtxt(...). usemask : bool, optional Если True, возвращается массив с масками. Если False, возвращается обычный массив. loose : bool, optional Если True, не генерировать ошибки для недопустимых значений. invalid_raise : bool, optional Если True, при обнаружении несоответствия в количестве столбцов генерируется исключение. Если False, генерируется предупреждение, и проблемные строки пропускаются. max_rows : int, optional Максимальное количество строк для чтения. Нельзя использовать одновременно с skip_footer. Если задано, значение должно быть не менее 1. По умолчанию считывается весь файл. Введено в версии 1.10.0. encoding : str, optional Кодировка, используемая для декодирования входного файла. Не применяется, когда fname — объект файла. Специальное значение ‘bytes’ включает обратные совместимые обходные пути, которые гарантируют, что вы получите массивы байтов, когда это возможно, и передают строки, закодированные в latin1, преобразователям. Переопределите это значение, чтобы получить массивы unicode и передать строки в качестве входных данных преобразователям. Если установлено в None, используется системный по умолчанию. Значение по умолчанию — ‘bytes’. Введено в версии 1.14.0.

Возвращает:

out : ndarray Данные, считанные из текстового файла. Если usemask True, это массив с масками.

См. также

numpy.loadtxt

эквивалентная функция, когда пропущенных данных нет.

Примечания

• При использовании пробелов в качестве разделителей или при отсутствии разделителя в качестве входных данных не должно быть пропущенных данных между двумя полями.
• Когда переменные имеют имена (либо с помощью гибкого типа данных, либо с names, в файле не должно быть заголовка (в противном случае возникает исключение ValueError).
• Отдельные значения по умолчанию не обрезаются от пробелов. При использовании пользовательского преобразователя убедитесь, что функция удаляет пробелы.

Ссылки

[1]	Руководство пользователя NumPy, раздел Ввод/вывод с NumPy.

Примеры

>>> from io import StringIO
>>> import numpy as np

Файл с разделителем запятая и смешанным типом данных

>>> s = StringIO(u"1,1.3,abcde")
>>> data = np.genfromtxt(s, dtype=[('myint','i8'),('myfloat','f8'),
... ('mystring','S5')], delimiter=",")
>>> data
array((1, 1.3, b'abcde'),
      dtype=[('myint', '<i8'), ('myfloat', '<f8'), ('mystring', 'S5')])

Использование dtype = None

>>> _ = s.seek(0) # needed for StringIO example only
>>> data = np.genfromtxt(s, dtype=None,
... names = ['myint','myfloat','mystring'], delimiter=",")
>>> data
array((1, 1.3, b'abcde'),
      dtype=[('myint', '<i8'), ('myfloat', '<f8'), ('mystring', 'S5')])

Указание dtype и имён

>>> _ = s.seek(0)
>>> data = np.genfromtxt(s, dtype="i8,f8,S5",
... names=['myint','myfloat','mystring'], delimiter=",")
>>> data
array((1, 1.3, b'abcde'),
      dtype=[('myint', '<i8'), ('myfloat', '<f8'), ('mystring', 'S5')])

Пример с фиксированной шириной столбцов

>>> s = StringIO(u"11.3abcde")
>>> data = np.genfromtxt(s, dtype=None, names=['intvar','fltvar','strvar'],
...     delimiter=[1,3,5])
>>> data
array((1, 1.3, b'abcde'),
      dtype=[('intvar', '<i8'), ('fltvar', '<f8'), ('strvar', 'S5')])

Пример, демонстрирующий комментарии

>>> f = StringIO('''
... text,# of chars
... hello world,11
... numpy,5''')
>>> np.genfromtxt(f, dtype='S12,S12', delimiter=',')
array([(b'text', b''), (b'hello world', b'11'), (b'numpy', b'5')],
  dtype=[('f0', 'S12'), ('f1', 'S12')])