Форматирование значений

Класс Styler различает значение отображения от фактического значения как в данных, так и в заголовках строк или столбцов. Для управления значением отображения текст в каждой ячейке печатается в виде строки, и мы можем использовать методы .format() и .format_index() для его обработки в соответствии со строкой спецификации формата формата строк или вызываемым объектом, принимающим одно значение и возвращающим строку. Это можно определить для всей таблицы, строки, столбца или уровней Многоуровневого индекса. Мы также можем переопределить имена индексов.

Кроме того, функция форматирования имеет аргумент precision для конкретного форматирования чисел с плавающей точкой, а также разделители десятичных и тысячных знаков для поддержки других языковых локалей, аргумент na_rep для отображения пропущенных данных, а также аргументы escape и hyperlinks для отображения безопасного HTML или безопасного LaTeX. По умолчанию форматировщик настроен на принятие глобальных параметров pandas, таких как styler.format.precision параметр, который можно контролировать с помощью with pd.option_context('format.precision', 2):.

[2]:

import pandas as pd
import numpy as np
import matplotlib as mpl

df = pd.DataFrame({
    "strings": ["Adam", "Mike"],
    "ints": [1, 3],
    "floats": [1.123, 1000.23]
})
df.style \
  .format(precision=3, thousands=".", decimal=",") \
  .format_index(str.upper, axis=1) \
  .relabel_index(["row 1", "row 2"], axis=0)

[2]:

Использование Styler для управления отображением является полезной функцией, потому что поддержание индексов и значений данных для других целей обеспечивает больший контроль. Вам не нужно перезаписывать свой DataFrame, чтобы отобразить его так, как вам нравится. Вот более подробный пример использования функций форматирования, сохраняя при этом доступ к исходным данным для индексирования и вычислений.

[3]:

weather_df = pd.DataFrame(np.random.rand(10,2)*5,
                          index=pd.date_range(start="2021-01-01", periods=10),
                          columns=["Tokyo", "Beijing"])

def rain_condition(v):
    if v < 1.75:
        return "Dry"
    elif v < 2.75:
        return "Rain"
    return "Heavy Rain"

def make_pretty(styler):
    styler.set_caption("Weather Conditions")
    styler.format(rain_condition)
    styler.format_index(lambda v: v.strftime("%A"))
    styler.background_gradient(axis=None, vmin=1, vmax=5, cmap="YlGnBu")
    return styler

weather_df

[3]:

[4]:

weather_df.loc["2021-01-04":"2021-01-08"].style.pipe(make_pretty)

[4]:

Скрытие данных

Заголовки строк и столбцов могут быть полностью скрыты, а также можно выборочно скрыть строки или столбцы, которые нужно исключить. Оба этих варианта выполняются с помощью одних и тех же методов.

Индекс можно скрыть от отображения, вызвав .hide() без аргументов, что может быть полезно, если ваш индекс основан на целых числах. Аналогично, заголовки столбцов можно скрыть, вызвав .hide(axis=”columns”) без дополнительных аргументов.

Конкретные строки или столбцы можно скрыть от отображения, вызвав тот же метод .hide() и передав метку строки/столбца, список или срез меток строк/столбцов для аргумента subset.

Скрытие не изменяет целочисленное расположение классов CSS, например, скрытие первых двух столбцов DataFrame означает, что индексирование класса столбца все равно начнется с col2, так как col0 и col1 просто игнорируются.

[5]:

df = pd.DataFrame(np.random.randn(5, 5))
df.style \
  .hide(subset=[0, 2, 4], axis=0) \
  .hide(subset=[0, 2, 4], axis=1)

[5]:

Для инвертирования функции для функциональности показать рекомендуется составить список скрытых элементов.

[6]:

show = [0, 2, 4]
df.style \
  .hide([row for row in df.index if row not in show], axis=0) \
  .hide([col for col in df.columns if col not in show], axis=1)

[6]:

Объединение вывода DataFrame

Два или более Stylers могут быть объединены, при условии, что они используют одни и те же столбцы. Это очень полезно для отображения сводных статистик для DataFrame и часто используется в сочетании с DataFrame.agg.

Поскольку конкатенируемые объекты являются Stylers, они могут независимо стилизоваться, как будет показано ниже, и их конкатенация сохраняет эти стили.

[7]:

summary_styler = df.agg(["sum", "mean"]).style \
                   .format(precision=3) \
                   .relabel_index(["Sum", "Average"])
df.style.format(precision=1).concat(summary_styler)

[7]:

Атрибуты таблицы

Очень легко добавить class к основной <table> с помощью .set_table_attributes(). Этот метод также может присоединять встроенные стили — подробнее об этом в Иерархии CSS.

[19]:

out = s.set_table_attributes('class="my-table-cls"').to_html()
print(out[out.find('<table'):][:109])

<table id="T_xyz01" class="my-table-cls">
  <thead>
    <tr>
      <th class="index_name level0" >Model:</th>

CSS-классы ячеек данных

Новинка в версии 1.2.0

Метод .set_td_classes() принимает DataFrame с соответствующими индексами и столбцами к DataFrame базового Styler. Этот DataFrame будет содержать строки в качестве css-классов для добавления к отдельным ячейкам данных: <td> элементы <table>. Вместо использования внешнего CSS, мы создадим наши классы внутри и добавим их к стилю таблицы. Мы оставим добавление границ до раздела о подсказках.

[20]:

s.set_table_styles([  # create internal CSS classes
    {'selector': '.true', 'props': 'background-color: #e6ffe6;'},
    {'selector': '.false', 'props': 'background-color: #ffe6e6;'},
], overwrite=False)
cell_color = pd.DataFrame([['true ', 'false ', 'true ', 'false '],
                           ['false ', 'true ', 'false ', 'true ']],
                          index=df.index,
                          columns=df.columns[:4])
s.set_td_classes(cell_color)

[20]:

Обработка данных

Мы используем следующие методы для передачи ваших функций стилизации. Оба метода принимают функцию (и некоторые другие ключевые аргументы) и применяют её к DataFrame определенным образом, отображая CSS стили.

• .map() (элементно): принимает функцию, которая принимает одно значение и возвращает строку с парой атрибут-значение CSS.

• .apply() (по столбцам/строкам/таблице): принимает функцию, которая принимает Series или DataFrame и возвращает Series, DataFrame или массив NumPy с идентичной формой, где каждый элемент — строка с парой атрибут-значение CSS. Этот метод последовательно передает каждый столбец или строку вашей таблицы DataFrame или всю таблицу целиком, в зависимости от ключевого аргумента axis. Для использования по столбцам используйте axis=0, для строк — axis=1, а для всей таблицы сразу — axis=None.

Этот метод мощный для применения множественной и сложной логики к ячейкам данных. Мы создаем новый DataFrame для демонстрации этого.

[22]:

np.random.seed(0)
df2 = pd.DataFrame(np.random.randn(10,4), columns=['A','B','C','D'])
df2.style

[22]:

Например, мы можем создать функцию, которая окрашивает текст, если он отрицательный, и объединить её с функцией, которая частично затемняет ячейки с незначительным значением. Поскольку это функция, которая обращается к каждому элементу поочередно, мы используем map.

[23]:

def style_negative(v, props=''):
    return props if v < 0 else None
s2 = df2.style.map(style_negative, props='color:red;')\
              .map(lambda v: 'opacity: 20%;' if (v < 0.3) and (v > -0.3) else None)
s2

[23]:

Мы также можем создать функцию, которая выделяет максимальное значение по строкам, столбцам и всему DataFrame сразу. В этом случае мы используем apply. Ниже мы выделим максимум в столбце.

[25]:

def highlight_max(s, props=''):
    return np.where(s == np.nanmax(s.values), props, '')
s2.apply(highlight_max, props='color:white;background-color:darkblue', axis=0)

[25]:

Можно использовать ту же функцию для разных осей, выделяя здесь максимальное значение DataFrame фиолетовым цветом, а максимальные значения строк — розовым.

[27]:

s2.apply(highlight_max, props='color:white;background-color:pink;', axis=1)\
  .apply(highlight_max, props='color:white;background-color:purple', axis=None)

[27]:

Этот последний пример показывает, как некоторые стили были перезаписаны другими. В общем случае, последний примененный стиль активен, но вы можете узнать больше в разделе о иерархиях CSS. Вы также можете применять эти стили к более мелким частям DataFrame — подробнее об этом в разделе о подвыборке с помощью срезов.

Возможно, аналогичную функциональность можно реализовать с помощью только классов, но это может быть сложнее. См. пункт 3) Оптимизации

Действия над индексами и заголовками столбцов

Аналогичный результат достигается для заголовков, используя:

• .map_index() (элементный): принимает функцию, которая принимает одно значение и возвращает строку с парой атрибут-значение CSS.

• .apply_index() (уровневый): принимает функцию, которая принимает объект Series и возвращает объект Series или массив NumPy с идентичной формой, где каждый элемент — это строка с парой атрибут-значение CSS. Этот метод последовательно передает каждый уровень вашего индекса. Для форматирования индекса используйте axis=0, а для форматирования заголовков столбцов — axis=1.

Вы можете выбрать level MultiIndex, но в настоящее время аналогичное subset применение для этих методов недоступно.

[29]:

s2.map_index(lambda v: "color:pink;" if v>4 else "color:darkblue;", axis=0)
s2.apply_index(lambda s: np.where(s.isin(["A", "B"]), "color:pink;", "color:darkblue;"), axis=1)

[29]:

1. Удалить UUID и cell_ids

Проигнорируйте uuid и установите cell_ids в значение False. Это предотвратит ненужный HTML.

[41]:

df4 = pd.DataFrame([[1,2],[3,4]])
s4 = df4.style

[42]:

from pandas.io.formats.style import Styler
s4 = Styler(df4, uuid_len=0, cell_ids=False)

2. Использование стилей таблиц

Используйте стили таблиц где возможно (например, для всех ячеек или строк или столбцов за раз), так как CSS почти всегда более эффективен, чем другие форматы.

[43]:

props = 'font-family: "Times New Roman", Times, serif; color: #e83e8c; font-size:1.3em;'
df4.style.map(lambda x: props, subset=[1])

[43]:

[44]:

df4.style.set_table_styles([{'selector': 'td.col1', 'props': props}])

[44]:

3. Установка классов вместо использования функций Styler

Для больших DataFrames, где один и тот же стиль применяется ко многим ячейкам, может быть эффективнее объявить стили как классы, а затем применять эти классы к ячейкам данных, а не применять стили к ячейкам напрямую. Однако, вероятно, всё ещё проще использовать API функции Styler, если вас не беспокоит оптимизация.

[45]:

df2.style.apply(highlight_max, props='color:white;background-color:darkblue;', axis=0)\
         .apply(highlight_max, props='color:white;background-color:pink;', axis=1)\
         .apply(highlight_max, props='color:white;background-color:purple', axis=None)

[45]:

[46]:

build = lambda x: pd.DataFrame(x, index=df2.index, columns=df2.columns)
cls1 = build(df2.apply(highlight_max, props='cls-1 ', axis=0))
cls2 = build(df2.apply(highlight_max, props='cls-2 ', axis=1, result_type='expand').values)
cls3 = build(highlight_max(df2, props='cls-3 '))
df2.style.set_table_styles([
    {'selector': '.cls-1', 'props': 'color:white;background-color:darkblue;'},
    {'selector': '.cls-2', 'props': 'color:white;background-color:pink;'},
    {'selector': '.cls-3', 'props': 'color:white;background-color:purple;'}
]).set_td_classes(cls1 + cls2 + cls3)

[46]:

4. Не используйте подсказки

Подсказки требуют cell_ids для работы, и они генерируют дополнительные HTML-элементы для каждой ячейки данных.

5. Если каждый байт на счету, используйте замену строк

Вы можете удалить ненужный HTML или сократить имена классов по умолчанию, заменив словарь css по умолчанию. Вы можете узнать немного больше о CSS ниже.

[47]:

my_css = {
    "row_heading": "",
    "col_heading": "",
    "index_name": "",
    "col": "c",
    "row": "r",
    "col_trim": "",
    "row_trim": "",
    "level": "l",
    "data": "",
    "blank": "",
}
html = Styler(df4, uuid_len=0, cell_ids=False)
html.set_table_styles([{'selector': 'td', 'props': props},
                       {'selector': '.c1', 'props': 'color:green;'},
                       {'selector': '.l0', 'props': 'color:blue;'}],
                      css_class_names=my_css)
print(html.to_html())

<style type="text/css">
#T_ td {
  font-family: "Times New Roman", Times, serif;
  color: #e83e8c;
  font-size: 1.3em;
}
#T_ .c1 {
  color: green;
}
#T_ .l0 {
  color: blue;
}
</style>
<table id="T_">
  <thead>
    <tr>
      <th class=" l0" >&nbsp;</th>
      <th class=" l0 c0" >0</th>
      <th class=" l0 c1" >1</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <th class=" l0 r0" >0</th>
      <td class=" r0 c0" >1</td>
      <td class=" r0 c1" >2</td>
    </tr>
    <tr>
      <th class=" l0 r1" >1</th>
      <td class=" r1 c0" >3</td>
      <td class=" r1 c1" >4</td>
    </tr>
  </tbody>
</table>

[48]:

html

[48]:

Выделение пустых значений

[49]:

df2.iloc[0,2] = np.nan
df2.iloc[4,3] = np.nan
df2.loc[:4].style.highlight_null(color='yellow')

[49]:

Выделение минимального или максимального значения

[50]:

df2.loc[:4].style.highlight_max(axis=1, props='color:white; font-weight:bold; background-color:darkblue;')

[50]:

Выделение значений в диапазоне

Этот метод принимает диапазоны как числа с плавающей точкой или массивы или серии NumPy, при условии, что индексы совпадают.

[51]:

left = pd.Series([1.0, 0.0, 1.0], index=["A", "B", "D"])
df2.loc[:4].style.highlight_between(left=left, right=1.5, axis=1, props='color:white; background-color:purple;')

[51]:

Выделение Квантиля

Полезно для определения наибольших или наименьших значений процентилей

[52]:

df2.loc[:4].style.highlight_quantile(q_left=0.85, axis=None, color='yellow')

[52]:

Градиент фона и градиент текста

Вы можете создать «тепловые карты» с помощью методов background_gradient и text_gradient. Для этого необходимо использовать matplotlib, а мы будем использовать Seaborn для получения красивой цветовой карты.

[53]:

import seaborn as sns
cm = sns.light_palette("green", as_cmap=True)

df2.style.background_gradient(cmap=cm)

[53]:

[54]:

df2.style.text_gradient(cmap=cm)

[54]:

background_gradient и text_gradient имеют ряд аргументов ключевых слов для настройки градиентов и цветов. Смотрите документацию.

Свойства набора

Используйте Styler.set_properties когда стиль фактически не зависит от значений. Это просто простой обёрткой для .map, где функция возвращает одни и те же свойства для всех ячеек.

[55]:

df2.loc[:4].style.set_properties(**{'background-color': 'black',
                           'color': 'lawngreen',
                           'border-color': 'white'})

[55]:

Диаграммы с колонками

Вы можете включать «диаграммы с колонками» в свой DataFrame.

[56]:

df2.style.bar(subset=['A', 'B'], color='#d65f5f')

[56]:

Дополнительные ключевые аргументы обеспечивают больший контроль над центрированием и позиционированием, и вы можете передать список [color_negative, color_positive] для выделения меньших и больших значений или палитру matplotlib.

Чтобы продемонстрировать пример, вот как вы можете изменить вышеизложенное с помощью нового align параметра в сочетании с установкой vmin и vmax пределов, width фигуры и базового CSS props ячеек, оставляя место для отображения текста и столбцов. Мы также используем text_gradient для окрашивания текста так же, как и столбцы, используя палитру matplotlib (хотя в данном случае визуализация, вероятно, будет лучше без этого дополнительного эффекта).

[57]:

df2.style.format('{:.3f}', na_rep="")\
         .bar(align=0, vmin=-2.5, vmax=2.5, cmap="bwr", height=50,
              width=60, props="width: 120px; border-right: 1px solid black;")\
         .text_gradient(cmap="bwr", vmin=-2.5, vmax=2.5)

[57]:

Следующий пример предназначен для демонстрации работы новых опций выравнивания:

[59]:

HTML(head)

Виджеты

Styler взаимодействует довольно хорошо с виджетами. Если вы просматриваете это онлайн, а не запускаете ноутбук сами, вы упускаете возможность интерактивно настраивать цветовую палитру.

[62]:

from ipywidgets import widgets
@widgets.interact
def f(h_neg=(0, 359, 1), h_pos=(0, 359), s=(0., 99.9), l=(0., 99.9)):
    return df2.style.background_gradient(
        cmap=sns.palettes.diverging_palette(h_neg=h_neg, h_pos=h_pos, s=s, l=l,
                                            as_cmap=True)
    )

Увеличить

[63]:

def magnify():
    return [dict(selector="th",
                 props=[("font-size", "4pt")]),
            dict(selector="td",
                 props=[('padding', "0em 0em")]),
            dict(selector="th:hover",
                 props=[("font-size", "12pt")]),
            dict(selector="tr:hover td:hover",
                 props=[('max-width', '200px'),
                        ('font-size', '12pt')])
]

[64]:

np.random.seed(25)
cmap = cmap=sns.diverging_palette(5, 250, as_cmap=True)
bigdf = pd.DataFrame(np.random.randn(20, 25)).cumsum()

bigdf.style.background_gradient(cmap, axis=1)\
    .set_properties(**{'max-width': '80px', 'font-size': '1pt'})\
    .set_caption("Hover to magnify")\
    .format(precision=2)\
    .set_table_styles(magnify())

[64]:

Фиксированные заголовки

Если вы отображаете большую матрицу или DataFrame в блокноте, но хотите всегда видеть заголовки столбцов и строк, вы можете использовать метод .set_sticky, который управляет стилями таблицы CSS.

[65]:

bigdf = pd.DataFrame(np.random.randn(16, 100))
bigdf.style.set_sticky(axis="index")

[65]:

Также можно закреплять MultiIndexes и даже только определённые уровни.

[66]:

bigdf.index = pd.MultiIndex.from_product([["A","B"],[0,1],[0,1,2,3]])
bigdf.style.set_sticky(axis="index", pixel_size=18, levels=[1,2])

Обработка HTML-сущностей

Представьте, что вам нужно отобразить HTML внутри HTML, что может вызвать проблемы, когда рендерер не может отличить. Вы можете использовать опцию форматирования escape, чтобы справиться с этим, и даже использовать её внутри форматировщика, который содержит сам HTML.

[67]:

df4 = pd.DataFrame([['<div></div>', '"&other"', '<span></span>']])
df4.style

[67]:

[68]:

df4.style.format(escape="html")

[68]:

[69]:

df4.style.format('<a href="https://pandas.pydata.org" target="_blank">{}</a>', escape="html")

[69]:

Классы и идентификаторы CSS

Точная структура CSS class, прикреплённая к каждой ячейке, следующая.

• Ячейки с именами индекса и столбца содержат index_name и level<k>, где k — его уровень в многоуровневом индексе

• Ячейки меток индекса содержат

  • row_heading

  • level<k>, где k — уровень в многоуровневом индексе

  • row<m>, где m — числовая позиция строки

• Ячейки меток столбцов содержат

  • col_heading

  • level<k>, где k — уровень в многоуровневом индексе

  • col<n>, где n — числовая позиция столбца

• Ячейки данных содержат

  • data

  • row<m>, где m — числовая позиция ячейки.

  • col<n>, где n — числовая позиция ячейки.

• Пустые ячейки содержат blank

• Обрезанные ячейки содержат col_trim или row_trim

Структура id — T_uuid_level<k>_row<m>_col<n>, где level<k> используется только в заголовках, и заголовки будут содержать только row<m> или col<n>, что необходимо. По умолчанию мы также добавляем в начало каждого идентификатора строки/столбца UUID, уникальный для каждого DataFrame, чтобы стили одного не конфликтовали со стилями другого в одном блокноте или на одной странице. Вы можете узнать больше о применении UUID в Оптимизации.

Мы можем увидеть пример HTML, вызвав метод .to_html().

[71]:

print(pd.DataFrame([[1,2],[3,4]], index=['i1', 'i2'], columns=['c1', 'c2']).style.to_html())

<style type="text/css">
</style>
<table id="T_a1de3">
  <thead>
    <tr>
      <th class="blank level0" >&nbsp;</th>
      <th id="T_a1de3_level0_col0" class="col_heading level0 col0" >c1</th>
      <th id="T_a1de3_level0_col1" class="col_heading level0 col1" >c2</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <th id="T_a1de3_level0_row0" class="row_heading level0 row0" >i1</th>
      <td id="T_a1de3_row0_col0" class="data row0 col0" >1</td>
      <td id="T_a1de3_row0_col1" class="data row0 col1" >2</td>
    </tr>
    <tr>
      <th id="T_a1de3_level0_row1" class="row_heading level0 row1" >i2</th>
      <td id="T_a1de3_row1_col0" class="data row1 col0" >3</td>
      <td id="T_a1de3_row1_col1" class="data row1 col1" >4</td>
    </tr>
  </tbody>
</table>

Иерархии CSS

Примеры показали, что при перекрытии стилей CSS стили, которые появляются последними в отображении HTML, имеют приоритет. Таким образом, следующие действия дают разные результаты:

[72]:

df4 = pd.DataFrame([['text']])
df4.style.map(lambda x: 'color:green;')\
         .map(lambda x: 'color:red;')

[72]:

[73]:

df4.style.map(lambda x: 'color:red;')\
         .map(lambda x: 'color:green;')

[73]:

Это справедливо только для правил CSS, которые эквивалентны по иерархии или важности. Вы можете узнать больше о специфичности CSS здесь, но для наших целей достаточно подытожить основные моменты:

Оценка важности CSS для каждого элемента HTML выводится, начиная с нуля и добавляя:

• 1000 для атрибута встроенного стиля

• 100 для каждого идентификатора

• 10 для каждого атрибута, класса или псевдокласса

• 1 для каждого имени элемента или псевдоэлемента

Давайте используем это, чтобы описать действие следующих конфигураций

[74]:

df4.style.set_uuid('a_')\
         .set_table_styles([{'selector': 'td', 'props': 'color:red;'}])\
         .map(lambda x: 'color:green;')

[74]:

Этот текст красный, потому что сгенерированный селектор #T_a_ td стоит 101 (идентификатор плюс элемент), тогда как #T_a_row0_col0 стоит только 100 (идентификатор), поэтому считается менее важным, даже если в HTML он следует за предыдущим.

[75]:

df4.style.set_uuid('b_')\
         .set_table_styles([{'selector': 'td', 'props': 'color:red;'},
                            {'selector': '.cls-1', 'props': 'color:blue;'}])\
         .map(lambda x: 'color:green;')\
         .set_td_classes(pd.DataFrame([['cls-1']]))

[75]:

В этом случае текст синий, потому что селектор #T_b_ .cls-1 стоит 110 (идентификатор плюс класс), который имеет приоритет.

[76]:

df4.style.set_uuid('c_')\
         .set_table_styles([{'selector': 'td', 'props': 'color:red;'},
                            {'selector': '.cls-1', 'props': 'color:blue;'},
                            {'selector': 'td.data', 'props': 'color:yellow;'}])\
         .map(lambda x: 'color:green;')\
         .set_td_classes(pd.DataFrame([['cls-1']]))

[76]:

Теперь мы создали другую таблицу стиля, и на этот раз селектор T_c_ td.data (идентификатор плюс элемент плюс класс) повышается до 111.

Если ваш стиль не применяется, и это действительно раздражает, попробуйте !important.

[77]: