Преобразование формы и сводные таблицы

Преобразование формы путем сворачивания объектов DataFrame

Данные часто хранятся в файлах CSV или базах данных в так называемом «стековом» или «записочном» формате:

In [1]: df
Out[1]: 
         date variable     value
0  2000-01-03        A  0.469112
1  2000-01-04        A -0.282863
2  2000-01-05        A -1.509059
3  2000-01-03        B -1.135632
4  2000-01-04        B  1.212112
5  2000-01-05        B -0.173215
6  2000-01-03        C  0.119209
7  2000-01-04        C -1.044236
8  2000-01-05        C -0.861849
9  2000-01-03        D -2.104569
10 2000-01-04        D -0.494929
11 2000-01-05        D  1.071804

Для любопытных вот как был создан вышеприведенный DataFrame:

import pandas.util.testing as tm; tm.N = 3
def unpivot(frame):
    N, K = frame.shape
    data = {'value' : frame.values.ravel('F'),
            'variable' : np.asarray(frame.columns).repeat(N),
            'date' : np.tile(np.asarray(frame.index), K)}
    return pd.DataFrame(data, columns=['date', 'variable', 'value'])
df = unpivot(tm.makeTimeDataFrame())

Чтобы выбрать всё для переменной A, мы могли бы сделать следующее:

In [2]: df[df['variable'] == 'A']
Out[2]: 
        date variable     value
0 2000-01-03        A  0.469112
1 2000-01-04        A -0.282863
2 2000-01-05        A -1.509059

Но предположим, что мы хотим выполнить операции с временными рядами по переменным. Лучшее представление будет таким, где columns являются уникальными переменными, а index дат идентифицирует отдельные наблюдения. Чтобы преобразовать данные в эту форму, используйте функцию pivot.

In [3]: df.pivot(index='date', columns='variable', values='value')
Out[3]: 
variable           A         B         C         D
date                                              
2000-01-03  0.469112 -1.135632  0.119209 -2.104569
2000-01-04 -0.282863  1.212112 -1.044236 -0.494929
2000-01-05 -1.509059 -0.173215 -0.861849  1.071804

Если аргумент values опущен, а входной DataFrame содержит более одной колонки значений, которые не используются в качестве колонок или индексов для ввода в pivot, то полученный «свернутый» DataFrame будет иметь многоуровневые колонки, самый верхний уровень которых указывает на соответствующую колонку значений:

In [4]: df['value2'] = df['value'] * 2

In [5]: pivoted = df.pivot('date', 'variable')

In [6]: pivoted
Out[6]: 
               value                                  value2            \
variable           A         B         C         D         A         B   
date                                                                     
2000-01-03  0.469112 -1.135632  0.119209 -2.104569  0.938225 -2.271265   
2000-01-04 -0.282863  1.212112 -1.044236 -0.494929 -0.565727  2.424224   
2000-01-05 -1.509059 -0.173215 -0.861849  1.071804 -3.018117 -0.346429   

                                
variable           C         D  
date                            
2000-01-03  0.238417 -4.209138  
2000-01-04 -2.088472 -0.989859  
2000-01-05 -1.723698  2.143608  

Конечно, вы можете затем выбрать подмножества из свернутого DataFrame:

In [7]: pivoted['value2']
Out[7]: 
variable           A         B         C         D
date                                              
2000-01-03  0.938225 -2.271265  0.238417 -4.209138
2000-01-04 -0.565727  2.424224 -2.088472 -0.989859
2000-01-05 -3.018117 -0.346429 -1.723698  2.143608

Обратите внимание, что это возвращает представление на базовых данных в случае, когда данные имеют однородный тип.

Преобразование формы путем стекирования и развертывания

Тесно связанные с функцией pivot функции stack и unstack в настоящее время доступны для Series и DataFrame. Эти функции предназначены для работы вместе с объектами MultiIndex (см. раздел о многоуровневом индексировании). Вот в чём суть этих функций:

• stack: «сворачивает» уровень меток колонок (возможно, многоуровневых), возвращая DataFrame с индексом с новым внутренним уровнем меток строк.
• unstack: обратная операция к stack: «сворачивает» уровень (возможно, многоуровневого) индекса строк в ось колонок, создавая преобразованный DataFrame с новым внутренним уровнем меток колонок.

Самый понятный способ объяснить это – на примере. Возьмём предыдущий пример набора данных из раздела многоуровневого индексирования:

In [8]: tuples = list(zip(*[['bar', 'bar', 'baz', 'baz',
   ...:                      'foo', 'foo', 'qux', 'qux'],
   ...:                     ['one', 'two', 'one', 'two',
   ...:                      'one', 'two', 'one', 'two']]))
   ...: 

In [9]: index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second'])

In [10]: df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=['A', 'B'])

In [11]: df2 = df[:4]

In [12]: df2
Out[12]: 
                     A         B
first second                    
bar   one     0.721555 -0.706771
      two    -1.039575  0.271860
baz   one    -0.424972  0.567020
      two     0.276232 -1.087401

Функция stack «сжимает» уровень колонок DataFrame, чтобы получить либо:

• Series, в случае простого индекса колонок
• DataFrame, в случае MultiIndex в колонках

Если колонки имеют MultiIndex, вы можете выбрать, какой уровень стекировать. Стекируемый уровень становится новым нижним уровнем в MultiIndex по колонках:

In [13]: stacked = df2.stack()

In [14]: stacked
Out[14]: 
first  second   
bar    one     A    0.721555
               B   -0.706771
       two     A   -1.039575
               B    0.271860
baz    one     A   -0.424972
               B    0.567020
       two     A    0.276232
               B   -1.087401
dtype: float64

С «стекированным» DataFrame или Series (имеющим MultiIndex в качестве index), обратной операцией к stack является unstack, которая по умолчанию развертывает последний уровень:

In [15]: stacked.unstack()
Out[15]: 
                     A         B
first second                    
bar   one     0.721555 -0.706771
      two    -1.039575  0.271860
baz   one    -0.424972  0.567020
      two     0.276232 -1.087401

In [16]: stacked.unstack(1)