Группировка: split-apply-combine

Под «группировкой» мы подразумеваем процесс, включающий один или несколько из следующих шагов

• Разбиение данных на группы на основе определенных критериев
• Применение функции к каждой группе независимо
• Объединение результатов в структуру данных

Из этих шагов, этап разбиения является наиболее простым. На самом деле, во многих ситуациях вам может потребоваться разбить набор данных на группы и выполнить какие-то действия с этими группами самостоятельно. На этапе применения мы можем захотеть выполнить одно из следующих действий:

• Агрегирование: вычисление сводной статистики (или статистик) для каждой группы. Некоторые примеры:

  • Вычислить суммы или средние значения групп
  • Вычислить размеры/количества групп

• Преобразование: выполнить некоторые вычисления, специфичные для группы, и вернуть индексированные результаты. Некоторые примеры:

  • Стандартизация данных (z-счет) внутри группы
  • Заполнение пропусков (NaN) в группах значением, полученным из каждой группы

• Фильтрация: отбросить некоторые группы, согласно вычислениям на основе группы, которые возвращают True или False. Некоторые примеры:

  • Отбрасывание данных, относящихся к группам с небольшим количеством элементов
  • Фильтрация данных на основе суммы или среднего значения группы
• Некоторое сочетание вышеперечисленного: GroupBy будет анализировать результаты этапа применения и попытается вернуть осмысленно объединенный результат, если он не попадает ни под одну из вышеперечисленных категорий

Поскольку набор методов экземпляров объектов в структурах данных pandas обычно богат и выразителен, мы часто просто хотим вызвать, например, функцию DataFrame для каждой группы. Название GroupBy должно быть знакомо тем, кто работал с инструментами на основе SQL (или itertools), где можно писать код вроде:

SELECT Column1, Column2, mean(Column3), sum(Column4)
FROM SomeTable
GROUP BY Column1, Column2

Мы стремимся сделать такие операции естественными и легкими для выражения с помощью pandas. Мы рассмотрим каждый аспект функциональности GroupBy и предоставим некоторые нетривиальные примеры/сценарии использования.

См. справочник для некоторых расширенных стратегий

Разбиение объекта на группы

Объекты pandas можно разбивать по любым осям. Абстрактное определение группировки заключается в предоставлении отображения меток на имена групп. Чтобы создать объект GroupBy (подробнее об объекте GroupBy позже), выполните следующее:

# default is axis=0
>>> grouped = obj.groupby(key)
>>> grouped = obj.groupby(key, axis=1)
>>> grouped = obj.groupby([key1, key2])

Отображение можно задать различными способами:

• Функция Python, которая будет вызываться для каждой метки оси
• Список или массив NumPy той же длины, что и выбранная ось
• Словарь или Series, предоставляющие label -> group name отображение
• Для объектов DataFrame строка, указывающая столбец, который будет использоваться для группировки. Конечно, df.groupby('A') это просто синтаксический сахар для df.groupby(df['A']), но это упрощает жизнь
• Для объектов DataFrame строка, указывающая уровень индекса, который будет использоваться для группировки.
• Список любых из вышеперечисленных элементов

В совокупности мы называем объекты группировки ключами. Например, рассмотрим следующий DataFrame:

In [1]: df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar',
   ...:                           'foo', 'bar', 'foo', 'foo'],
   ...:                    'B' : ['one', 'one', 'two', 'three',
   ...:                           'two', 'two', 'one', 'three'],
   ...:                    'C' : np.random.randn(8),
   ...:                    'D' : np.random.randn(8)})
   ...: 

In [2]: df
Out[2]: 
     A      B         C         D
0  foo    one  0.469112 -0.861849
1  bar    one -0.282863 -2.104569
2  foo    two -1.509059 -0.494929
3  bar  three -1.135632  1.071804
4  foo    two  1.212112  0.721555
5  bar    two -0.173215 -0.706771
6  foo    one  0.119209 -1.039575
7  foo  three -1.044236  0.271860

Мы можем естественным образом сгруппировать по столбцам A или B или по обоим:

In [3]: grouped = df.groupby('A')

In [4]: grouped = df.groupby(['A', 'B'])

Это разделит DataFrame по его индексу (строки). Мы также можем разделить по столбцам:

In [5]: def get_letter_type(letter):
   ...:     if letter.lower() in 'aeiou':
   ...:         return 'vowel'
   ...:     else:
   ...:         return 'consonant'
   ...: 

In [6]: grouped = df.groupby(get_letter_type, axis=1)

Начиная с версии 0.8, объекты pandas Index теперь поддерживают дублируемые значения. Если в операции groupby используется не уникальный индекс в качестве ключа группы, все значения для одного значения индекса будут считаться в одной группе, а значит, результат функций агрегации будет содержать только уникальные значения индекса:

In [7]: lst = [1, 2, 3, 1, 2, 3]

In [8]: s = pd.Series([1, 2, 3, 10, 20, 30], lst)

In [9]: grouped = s.groupby(level=0)

In [10]: grouped.first()
Out[10]: 
1    1
2    2
3    3
dtype: int64

In [11]: grouped.last()