1.13. Отбор признаков

1.13.1. Удаление признаков с низкой дисперсией

VarianceThreshold — это простой базовый подход к отбору признаков. Он удаляет все признаки, дисперсия которых не достигает заданного порога. По умолчанию он удаляет все признаки с нулевой дисперсией, то есть признаки, имеющие одинаковое значение во всех выборках.

Предположим, например, что у нас есть набор данных с булевыми признаками и мы хотим удалить все признаки, принимающие значение 1 или 0 (включено или выключено) более чем в 80% выборок. Булевы признаки — это случайные величины Бернулли, а дисперсия таких величин вычисляется по формуле

поэтому для отбора можно использовать порог .8 * (1 - .8):

>>> from sklearn.feature_selection import VarianceThreshold
>>> X = [[0, 0, 1], [0, 1, 0], [1, 0, 0], [0, 1, 1], [0, 1, 0], [0, 1, 1]]
>>> sel = VarianceThreshold(threshold=(.8 * (1 - .8)))
>>> sel.fit_transform(X)
array([[0, 1],
       [1, 0],
       [0, 0],
       [1, 1],
       [1, 0],
       [1, 1]])

Как и ожидалось, VarianceThreshold удалил первый столбец, в котором вероятность \(p = 5/6 > .8\) получить ноль.

1.13.2. Одномерный отбор признаков

Одномерный отбор признаков основан на выборе лучших признаков по результатам одномерных статистических тестов. Его можно рассматривать как этап предварительной обработки перед оценивателем. Scikit-learn предоставляет процедуры отбора признаков в виде объектов, реализующих метод transform:

• SelectKBest удаляет все признаки, кроме \(k\) признаков с наивысшими оценками
• SelectPercentile удаляет все признаки, кроме указанного пользователем процента признаков с наивысшими оценками
• с применением распространённых одномерных статистических тестов для каждого признака: частота ложноположительных результатов SelectFpr, частота ложных обнаружений SelectFdr или семейная вероятность ошибки SelectFwe.
• GenericUnivariateSelect позволяет выполнять одномерный отбор признаков с использованием настраиваемой стратегии. Это позволяет выбрать лучшую стратегию одномерного отбора с помощью оценивателя для поиска гиперпараметров.

Например, мы можем использовать F-тест, чтобы выбрать два лучших признака набора данных:

>>> from sklearn.datasets import load_iris
>>> from sklearn.feature_selection import SelectKBest
>>> from sklearn.feature_selection import f_classif
>>> X, y = load_iris(return_X_y=True)
>>> X.shape
(150, 4)
>>> X_new = SelectKBest(f_classif, k=2).fit_transform(X, y)
>>> X_new.shape
(150, 2)

В качестве входных данных эти объекты принимают функцию оценки, возвращающую одномерные оценки и p-значения (или только оценки для SelectKBest и SelectPercentile):

• Для регрессии: r_regression, f_regression, mutual_info_regression
• Для классификации: chi2, f_classif, mutual_info_classif

Методы на основе F-теста оценивают степень линейной зависимости между двумя случайными величинами. Методы на основе взаимной информации, напротив, могут выявлять любые статистические зависимости, но, поскольку они непараметрические, для точной оценки им требуется больше выборок. Обратите внимание, что тест \(\chi^2\) следует применять только к неотрицательным признакам, например к частотам.

Примеры

• Одномерный отбор признаков
• Сравнение F-теста и взаимной информации

1.13.3. Рекурсивное исключение признаков

Если задан внешний оцениватель, присваивающий признакам веса (например, коэффициенты линейной модели), цель рекурсивного исключения признаков (RFE) — выбрать признаки, последовательно рассматривая всё меньшие и меньшие их наборы. Сначала оцениватель обучается на исходном наборе признаков, после чего важность каждого признака определяется с помощью специального атрибута (например, coef_, feature_importances_) или вызываемого объекта. Затем наименее важные признаки удаляются из текущего набора. Эта процедура рекурсивно повторяется для сокращённого набора, пока не будет достигнуто требуемое количество выбираемых признаков.

RFECV выполняет RFE в цикле кросс-валидации, чтобы найти оптимальное количество признаков. Точнее, количество выбираемых признаков настраивается автоматически: селектор RFE подгоняется на разных разбиениях для кросс-валидации (задаваемых параметром cv). Производительность селектора RFE оценивается с помощью scorer для разных количеств выбранных признаков, после чего результаты объединяются. Наконец, оценки усредняются по фолдам, а количество выбираемых признаков устанавливается равным значению, при котором оценка кросс-валидации максимальна.

Примеры

• Рекурсивное исключение признаков: пример рекурсивного исключения признаков, показывающий значимость пикселей в задаче классификации цифр.
• Рекурсивное исключение признаков с кросс-валидацией: пример рекурсивного исключения признаков с автоматической настройкой числа выбираемых признаков с помощью кросс-валидации.

1.13.4. Отбор признаков с помощью SelectFromModel

SelectFromModel — это метатрансформер, который можно использовать с любым оценивателем, присваивающим каждому признаку важность с помощью специального атрибута (например, coef_, feature_importances_) или вызываемого объекта importance_getter после обучения. Признаки считаются неважными и удаляются, если соответствующие значения их важности ниже заданного параметра threshold. Помимо численного задания порога, доступны встроенные эвристики для его определения с помощью строкового аргумента. Доступны эвристики «mean», «median» и кратные этим значениям, заданные вещественным числом, например «0.1*mean». Вместе с критерием threshold параметр max_features позволяет ограничить количество выбираемых признаков.

Примеры использования приведены в разделах ниже.

Примеры

• Отбор признаков на основе модели и последовательный отбор признаков

>>> from sklearn.svm import LinearSVC
>>> from sklearn.datasets import load_iris
>>> from sklearn.feature_selection import SelectFromModel
>>> X, y = load_iris(return_X_y=True)
>>> X.shape
(150, 4)
>>> lsvc = LinearSVC(C=0.01, penalty="l1", dual=False).fit(X, y)
>>> model = SelectFromModel(lsvc, prefit=True)
>>> X_new = model.transform(X)
>>> X_new.shape
(150, 3)

>>> from sklearn.ensemble import ExtraTreesClassifier
>>> from sklearn.datasets import load_iris
>>> from sklearn.feature_selection import SelectFromModel
>>> X, y = load_iris(return_X_y=True)
>>> X.shape
(150, 4)
>>> clf = ExtraTreesClassifier(n_estimators=50)
>>> clf = clf.fit(X, y)
>>> clf.feature_importances_
array([ 0.04,  0.05,  0.4,  0.4])
>>> model = SelectFromModel(clf, prefit=True)
>>> X_new = model.transform(X)
>>> X_new.shape
(150, 2)

1.13.5. Последовательный отбор признаков

Последовательный отбор признаков [sfs] (SFS) доступен в трансформере SequentialFeatureSelector. SFS может выполняться как в прямом, так и в обратном направлении:

Прямой SFS — это жадная процедура, которая на каждой итерации находит лучший новый признак для добавления к выбранному набору. Изначально набор признаков пуст, и мы находим один признак, который максимизирует оценку кросс-валидации при обучении оценивателя только на этом признаке. После выбора первого признака процедура повторяется: к выбранному набору добавляется новый признак. Процедура останавливается, когда достигается требуемое число выбранных признаков, заданное параметром n_features_to_select.

Обратный SFS основан на той же идее, но работает в противоположном направлении: вместо того чтобы начинать с пустого набора и жадно добавлять признаки, мы начинаем со всех признаков и жадно удаляем признаки из набора. Параметр direction определяет, будет ли использоваться прямой или обратный SFS.

Примеры

• Отбор признаков на основе модели и последовательный отбор признаков

1.13.6. Отбор признаков как часть конвейера

Отбор признаков обычно используется как этап предварительной обработки перед собственно обучением. В scikit-learn для этого рекомендуется использовать Pipeline:

clf = Pipeline([
  ('feature_selection', SelectFromModel(LinearSVC(penalty="l1"))),
  ('classification', RandomForestClassifier())
])
clf.fit(X, y)

В этом фрагменте кода мы используем LinearSVC вместе с SelectFromModel, чтобы оценить важность признаков и выбрать наиболее значимые. Затем RandomForestClassifier обучается на преобразованных данных, то есть только на значимых признаках. Подобные операции можно выполнять и с другими методами отбора признаков, а также с классификаторами, позволяющими оценивать важность признаков. Подробнее см. примеры для Pipeline.