Дублирующие метки
Index объекты не обязаны быть уникальными; вы можете иметь дублирующие метки строк или столбцов. Это может быть немного запутанно на первый взгляд. Если вы знакомы с SQL, вы знаете, что метки строк похожи на первичный ключ в таблице, и вы никогда не хотели бы иметь дубликаты в таблице SQL. Но одна из ролей pandas — очистка беспорядочных данных из реального мира перед отправкой в какую-либо систему обработки данных. А данные из реального мира содержат дубликаты, даже в полях, которые должны быть уникальными.
В этом разделе описывается, как дублирующие метки изменяют поведение определенных операций, и как предотвратить возникновение дубликатов во время операций или обнаружить их, если они возникли.
In [1]: import pandas as pd
In [2]: import numpy as np
Последствия дублирующих меток
Некоторые методы pandas (Series.reindex() например) просто не работают с присутствующими дубликатами. Результат нельзя определить, поэтому pandas генерирует ошибку.
In [3]: s1 = pd.Series([0, 1, 2], index=["a", "b", "b"])
In [4]: s1.reindex(["a", "b", "c"])
---------------------------------------------------------------------------
ValueError Traceback (most recent call last)
Cell In [4], line 1
----> 1 s1.reindex(["a", "b", "c"])
File ~/work/pandas/pandas/pandas/core/series.py:5097, in Series.reindex(self, *args, **kwargs)
5093 raise TypeError(
5094 "'index' passed as both positional and keyword argument"
5095 )
5096 kwargs.update({"index": index})
-> 5097 return super().reindex(**kwargs)
File ~/work/pandas/pandas/pandas/core/generic.py:5294, in NDFrame.reindex(self, *args, **kwargs)
5291 return self._reindex_multi(axes, copy, fill_value)
5293 # perform the reindex on the axes
-> 5294 return self._reindex_axes(
5295 axes, level, limit, tolerance, method, fill_value, copy
5296 ).__finalize__(self, method="reindex")
File ~/work/pandas/pandas/pandas/core/generic.py:5314, in NDFrame._reindex_axes(self, axes, level, limit, tolerance, method, fill_value, copy)
5309 new_index, indexer = ax.reindex(
5310 labels, level=level, limit=limit, tolerance=tolerance, method=method
5311 )
5313 axis = self._get_axis_number(a)
-> 5314 obj = obj._reindex_with_indexers(
5315 {axis: [new_index, indexer]},
5316 fill_value=fill_value,
5317 copy=copy,
5318 allow_dups=False,
5319 )
5320 # If we've made a copy once, no need to make another one
5321 copy = False
File ~/work/pandas/pandas/pandas/core/generic.py:5360, in NDFrame._reindex_with_indexers(self, reindexers, fill_value, copy, allow_dups)
5357 indexer = ensure_platform_int(indexer)
5359 # TODO: speed up on homogeneous DataFrame objects (see _reindex_multi)
-> 5360 new_data = new_data.reindex_indexer(
5361 index,
5362 indexer,
5363 axis=baxis,
5364 fill_value=fill_value,
5365 allow_dups=allow_dups,
5366 copy=copy,
5367 )
5368 # If we've made a copy once, no need to make another one
5369 copy = False
File ~/work/pandas/pandas/pandas/core/internals/managers.py:730, in BaseBlockManager.reindex_indexer(self, new_axis, indexer, axis, fill_value, allow_dups, copy, only_slice, use_na_proxy)
728 # some axes don't allow reindexing with dups
729 if not allow_dups:
--> 730 self.axes[axis]._validate_can_reindex(indexer)
732 if axis >= self.ndim:
733 raise IndexError("Requested axis not found in manager")
File ~/work/pandas/pandas/pandas/core/indexes/base.py:4356, in Index._validate_can_reindex(self, indexer)
4354 # trying to reindex on an axis with duplicates
4355 if not self._index_as_unique and len(indexer):
-> 4356 raise ValueError("cannot reindex on an axis with duplicate labels")
ValueError: cannot reindex on an axis with duplicate labels
Другие методы, такие как индексирование, могут давать очень неожиданные результаты. Обычно индексирование скаляром снижает размерность. Вырезание DataFrame со скаляром вернет Series. Вырезание Series со скаляром вернет скаляр. Но с дубликатами это не так.
In [5]: df1 = pd.DataFrame([[0, 1, 2], [3, 4, 5]], columns=["A", "A", "B"])
In [6]: df1
Out[6]:
A A B
0 0 1 2
1 3 4 5
У нас есть дубликаты в столбцах. Если мы вырежем 'B', мы получим Series
In [7]: df1["B"] # a series
Out[7]:
0 2
1 5
Name: B, dtype: int64
Но вырезание 'A' возвращает DataFrame
In [8]: df1["A"] # a DataFrame
Out[8]:
A A
0 0 1
1 3 4
Это также относится к меткам строк
In [9]: df2 = pd.DataFrame({"A": [0, 1, 2]}, index=["a", "a", "b"])
In [10]: df2
Out[10]:
A
a 0
a 1
b 2
In [11]: df2.loc["b", "A"] # a scalar
Out[11]: 2
In [12]: df2.loc["a", "A"] # a Series
Out[12]:
a 0
a 1
Name: A, dtype: int64
Обнаружение дублирующих меток
Вы можете проверить, является ли Index (хранящий метки строк или столбцов) уникальным с помощью Index.is_unique.
In [13]: df2
Out[13]:
A
a 0
a 1
b 2
In [14]: df2.index.is_unique
Out[14]: False
In [15]: df2.columns.is_unique
Out[15]: True
Примечание
Проверка уникальности индекса является достаточно дорогостоящей операцией для больших наборов данных. pandas кэширует этот результат, поэтому повторная проверка по тому же индексу происходит очень быстро.
Index.duplicated() вернет булевый массив, указывающий, повторяется ли метка.
In [16]: df2.index.duplicated()
Out[16]: array([False, True, False])
Это можно использовать в качестве булевого фильтра для удаления дублирующих строк.
In [17]: df2.loc[~df2.index.duplicated(), :]
Out[17]:
A
a 0
b 2
Если вам нужна дополнительная логика для обработки дублирующих меток, а не просто удаления повторений, использование groupby() по индексу — распространенный трюк. Например, мы будем разрешать дубликаты, вычисляя среднее значение всех строк с одинаковой меткой.
In [18]: df2.groupby(level=0).mean()
Out[18]:
A
a 0.5
b 2.0
Запрещение дублирующих меток
Добавлен в версии 1.2.0.
Как отмечалось выше, обработка дубликатов — важная функция при чтении исходных данных. Тем не менее, вы можете избежать введения дубликатов как части конвейера обработки данных (из методов, таких как pandas.concat(), rename(), и т. д.). И Series, и DataFrame запрещают дублирующие метки, вызывая .set_flags(allows_duplicate_labels=False). (По умолчанию они разрешены). Если дублирующие метки присутствуют, будет поднято исключение.
In [19]: pd.Series([0, 1, 2], index=["a", "b", "b"]).set_flags(allows_duplicate_labels=False)
---------------------------------------------------------------------------
DuplicateLabelError Traceback (most recent call last)
Cell In [19], line 1
----> 1 pd.Series([0, 1, 2], index=["a", "b", "b"]).set_flags(allows_duplicate_labels=False)
File ~/work/pandas/pandas/pandas/core/generic.py:443, in NDFrame.set_flags(self, copy, allows_duplicate_labels)
441 df = self.copy(deep=copy)
442 if allows_duplicate_labels is not None:
--> 443 df.flags["allows_duplicate_labels"] = allows_duplicate_labels
444 return df
File ~/work/pandas/pandas/pandas/core/flags.py:107, in Flags.__setitem__(self, key, value)
105 if key not in self._keys:
106 raise ValueError(f"Unknown flag {key}. Must be one of {self._keys}")
--> 107 setattr(self, key, value)
File ~/work/pandas/pandas/pandas/core/flags.py:94, in Flags.allows_duplicate_labels(self, value)
92 if not value:
93 for ax in obj.axes:
---> 94 ax._maybe_check_unique()
96 self._allows_duplicate_labels = value
File ~/work/pandas/pandas/pandas/core/indexes/base.py:753, in Index._maybe_check_unique(self)
750 duplicates = self._format_duplicate_message()
751 msg += f"\n{duplicates}"
--> 753 raise DuplicateLabelError(msg)
DuplicateLabelError: Index has duplicates.
positions
label
b [1, 2]
Это относится к меткам строк и столбцов для DataFrame
In [20]: pd.DataFrame([[0, 1, 2], [3, 4, 5]], columns=["A", "B", "C"],).set_flags(
....: allows_duplicate_labels=False
....: )
....:
Out[20]:
A B C
0 0 1 2
1 3 4 5
Этот атрибут можно проверить или установить с помощью allows_duplicate_labels, что указывает, может ли этот объект содержать дублирующие метки.
In [21]: df = pd.DataFrame({"A": [0, 1, 2, 3]}, index=["x", "y", "X", "Y"]).set_flags(
....: allows_duplicate_labels=False
....: )
....:
In [22]: df
Out[22]:
A
x 0
y 1
X 2
Y 3
In [23]: df.flags.allows_duplicate_labels
Out[23]: False
DataFrame.set_flags() можно использовать для возврата нового DataFrame с атрибутами, такими как allows_duplicate_labels, установленным в некоторое значение
In [24]: df2 = df.set_flags(allows_duplicate_labels=True)
In [25]: df2.flags.allows_duplicate_labels
Out[25]: True
Возвращаемый новый DataFrame является представлением тех же данных, что и старый DataFrame. Или свойство можно установить напрямую на том же объекте.
In [26]: df2.flags.allows_duplicate_labels = False
In [27]: df2.flags.allows_duplicate_labels
Out[27]: False
При обработке исходных необработанных данных вы можете первоначально прочитать необработанные данные (которые потенциально содержат дублирующие метки), удалить дубликаты и затем запретить дубликаты в дальнейшем, чтобы убедиться, что ваш конвейер обработки данных не вводит дубликаты.
>>> raw = pd.read_csv("...")
>>> deduplicated = raw.groupby(level=0).first() # remove duplicates
>>> deduplicated.flags.allows_duplicate_labels = False # disallow going forward
Установка allows_duplicate_labels=False на Series или DataFrame с дублирующими метками или выполнение операции, которая вводит дублирующие метки на Series или DataFrame, которые запрещают дубликаты, приведет к возникновению errors.DuplicateLabelError.
In [28]: df.rename(str.upper)
---------------------------------------------------------------------------
DuplicateLabelError Traceback (most recent call last)
Cell In [28], line 1
----> 1 df.rename(str.upper)
File ~/work/pandas/pandas/pandas/core/frame.py:5565, in DataFrame.rename(self, mapper, index, columns, axis, copy, inplace, level, errors)
5446 def rename(
5447 self,
5448 mapper: Renamer | None = None,
(...)
5456 errors: IgnoreRaise = "ignore",
5457 ) -> DataFrame | None:
5458 """
5459 Alter axes labels.
5460
(...)
5563 4 3 6
5564 """
-> 5565 return super()._rename(
5566 mapper=mapper,
5567 index=index,
5568 columns=columns,
5569 axis=axis,
5570 copy=copy,
5571 inplace=inplace,
5572 level=level,
5573 errors=errors,
5574 )
File ~/work/pandas/pandas/pandas/core/generic.py:1111, in NDFrame._rename(self, mapper, index, columns, axis, copy, inplace, level, errors)
1109 return None
1110 else:
-> 1111 return result.__finalize__(self, method="rename")
File ~/work/pandas/pandas/pandas/core/generic.py:5873, in NDFrame.__finalize__(self, other, method, **kwargs)
5870 for name in other.attrs:
5871 self.attrs[name] = other.attrs[name]
-> 5873 self.flags.allows_duplicate_labels = other.flags.allows_duplicate_labels
5874 # For subclasses using _metadata.
5875 for name in set(self._metadata) & set(other._metadata):
File ~/work/pandas/pandas/pandas/core/flags.py:94, in Flags.allows_duplicate_labels(self, value)
92 if not value:
93 for ax in obj.axes:
---> 94 ax._maybe_check_unique()
96 self._allows_duplicate_labels = value
File ~/work/pandas/pandas/pandas/core/indexes/base.py:753, in Index._maybe_check_unique(self)
750 duplicates = self._format_duplicate_message()
751 msg += f"\n{duplicates}"
--> 753 raise DuplicateLabelError(msg)
DuplicateLabelError: Index has duplicates.
positions
label
X [0, 2]
Y [1, 3]
Это сообщение об ошибке содержит дублирующие метки и числовые позиции всех дубликатов (включая «оригинальный») в Series или DataFrame
Распространение дублирующих меток
В общем случае запрет дубликатов «прилипает». Он сохраняется в ходе операций.
In [29]: s1 = pd.Series(0, index=["a", "b"]).set_flags(allows_duplicate_labels=False)
In [30]: s1
Out[30]:
a 0
b 0
dtype: int64
In [31]: s1.head().rename({"a": "b"})
---------------------------------------------------------------------------
DuplicateLabelError Traceback (most recent call last)
Cell In [31], line 1
----> 1 s1.head().rename({"a": "b"})
File ~/work/pandas/pandas/pandas/core/series.py:5000, in Series.rename(self, index, axis, copy, inplace, level, errors)
4993 axis = self._get_axis_number(axis)
4995 if callable(index) or is_dict_like(index):
4996 # error: Argument 1 to "_rename" of "NDFrame" has incompatible
4997 # type "Union[Union[Mapping[Any, Hashable], Callable[[Any],
4998 # Hashable]], Hashable, None]"; expected "Union[Mapping[Any,
4999 # Hashable], Callable[[Any], Hashable], None]"
-> 5000 return super()._rename(
5001 index, # type: ignore[arg-type]
5002 copy=copy,
5003 inplace=inplace,
5004 level=level,
5005 errors=errors,
5006 )
5007 else:
5008 return self._set_name(index, inplace=inplace)
File ~/work/pandas/pandas/pandas/core/generic.py:1111, in NDFrame._rename(self, mapper, index, columns, axis, copy, inplace, level, errors)
1109 return None
1110 else:
-> 1111 return result.__finalize__(self, method="rename")
File ~/work/pandas/pandas/pandas/core/generic.py:5873, in NDFrame.__finalize__(self, other, method, **kwargs)
5870 for name in other.attrs:
5871 self.attrs[name] = other.attrs[name]
-> 5873 self.flags.allows_duplicate_labels = other.flags.allows_duplicate_labels
5874 # For subclasses using _metadata.
5875 for name in set(self._metadata) & set(other._metadata):
File ~/work/pandas/pandas/pandas/core/flags.py:94, in Flags.allows_duplicate_labels(self, value)
92 if not value:
93 for ax in obj.axes:
---> 94 ax._maybe_check_unique()
96 self._allows_duplicate_labels = value
File ~/work/pandas/pandas/pandas/core/indexes/base.py:753, in Index._maybe_check_unique(self)
750 duplicates = self._format_duplicate_message()
751 msg += f"\n{duplicates}"
--> 753 raise DuplicateLabelError(msg)
DuplicateLabelError: Index has duplicates.
positions
label
b [0, 1]
Предупреждение
Эта функция является экспериментальной. В настоящее время многие методы не обеспечивают распространение значения allows_duplicate_labels. В будущих версиях ожидается, что каждый метод, принимающий или возвращающий один или несколько объектов DataFrame или Series, будет распространять allows_duplicate_labels.
© 2008–2022, AQR Capital Management, LLC, Lambda Foundry, Inc. and PyData Development Team
Licensed under the 3-clause BSD License.
https://pandas.pydata.org/pandas-docs/version/1.5.0/user_guide/duplicates.html
