Основные моменты выпуска scikit-learn 0.24

Оценщики последовательного удвоения для настройки гиперпараметров

Метод последовательного удвоения, передовой метод, теперь доступен для исследования пространства параметров и определения их наилучшей комбинации. HalvingGridSearchCV и HalvingRandomSearchCV могут использоваться как прямые замены GridSearchCV и RandomizedSearchCV. Последовательное удвоение — это итеративный процесс выбора, показанный на рисунке ниже. Первый этап выполняется с небольшим количеством ресурсов, где ресурс обычно соответствует числу обучающих выборок, но также может быть произвольным целочисленным параметром, например, n_estimators в случайном лесу. Только подмножество кандидатов параметров выбирается для следующего этапа, который будет выполнен с увеличенным количеством выделенных ресурсов. Только подмножество кандидатов доживет до конца процесса итерации, а наилучшим кандидатом параметра будет тот, который имеет наивысший балл на последнем этапе.

Подробнее см. в Руководстве пользователя (примечание: оценщики последовательного удвоения всё ещё являются экспериментальными).

import numpy as np
from scipy.stats import randint
from sklearn.experimental import enable_halving_search_cv  # noqa
from sklearn.model_selection import HalvingRandomSearchCV
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import make_classification

rng = np.random.RandomState(0)

X, y = make_classification(n_samples=700, random_state=rng)

clf = RandomForestClassifier(n_estimators=10, random_state=rng)

param_dist = {
    "max_depth": [3, None],
    "max_features": randint(1, 11),
    "min_samples_split": randint(2, 11),
    "bootstrap": [True, False],
    "criterion": ["gini", "entropy"],
}

rsh = HalvingRandomSearchCV(
    estimator=clf, param_distributions=param_dist, factor=2, random_state=rng
)
rsh.fit(X, y)
rsh.best_params_

{'bootstrap': True, 'criterion': 'gini', 'max_depth': None, 'max_features': 10, 'min_samples_split': 10}

Встроенная поддержка категориальных признаков в оценщиках HistGradientBoosting

HistGradientBoostingClassifier и HistGradientBoostingRegressor теперь имеют встроенную поддержку категориальных признаков: они могут учитывать разделения на неупорядоченные категориальные данные. Подробнее см. в Руководстве пользователя.

Диаграмма показывает, что новая встроенная поддержка категориальных признаков приводит к временам подгонки, сопоставимым с моделями, где категории обрабатываются как упорядоченные величины, т. е. просто кодируются по порядку. Встроенная поддержка также более выразительна, чем кодирование как one-hot, так и по порядку. Однако для использования нового параметра categorical_features все ещё требуется предварительная обработка данных в конвейере, как показано в этом примере.

Улучшенная производительность оценщиков HistGradientBoosting

Объем памяти ensemble.HistGradientBoostingRegressor и ensemble.HistGradientBoostingClassifier был значительно улучшен во время вызовов fit. Кроме того, инициализация гистограмм теперь выполняется параллельно, что приводит к небольшому увеличению скорости. Дополнительную информацию см. на странице бенчмарков.

Новый мета-оценщик самообучения

Теперь можно использовать новую реализацию самообучения, основанную на алгоритме Ярошевского, с любым классификатором, реализующим predict_proba. Подклассификатор будет вести себя как полусверхобучаемый классификатор, позволяя ему учиться на неустановленных данных. Подробнее см. в Руководстве пользователя.

import numpy as np
from sklearn import datasets
from sklearn.semi_supervised import SelfTrainingClassifier
from sklearn.svm import SVC

rng = np.random.RandomState(42)
iris = datasets.load_iris()
random_unlabeled_points = rng.rand(iris.target.shape[0]) < 0.3
iris.target[random_unlabeled_points] = -1
svc = SVC(probability=True, gamma="auto")
self_training_model = SelfTrainingClassifier(svc)
self_training_model.fit(iris.data, iris.target)

SelfTrainingClassifier(estimator=SVC(gamma='auto', probability=True))

SelfTrainingClassifier(estimator=SVC(gamma='auto', probability=True))

SVC(gamma='auto', probability=True)

SVC(gamma='auto', probability=True)

Новый трансформатор SequentialFeatureSelector

Доступен новый итеративный трансформатор для выбора признаков: SequentialFeatureSelector. Последовательный отбор признаков может добавлять признаки по одному (прямой отбор) или удалять признаки из списка доступных признаков (обратный отбор) на основе максимизации перекрестно-валидированной оценки. См. Руководство пользователя.

from sklearn.feature_selection import SequentialFeatureSelector
from sklearn.neighbors import KNeighborsClassifier
from sklearn.datasets import load_iris

X, y = load_iris(return_X_y=True, as_frame=True)
feature_names = X.columns
knn = KNeighborsClassifier(n_neighbors=3)
sfs = SequentialFeatureSelector(knn, n_features_to_select=2)
sfs.fit(X, y)
print(
    "Features selected by forward sequential selection: "
    f"{feature_names[sfs.get_support()].tolist()}"
)

Features selected by forward sequential selection: ['sepal length (cm)', 'petal width (cm)']

Новая функция приближения ядра PolynomialCountSketch

Новая PolynomialCountSketch приближает многочленное расширение пространства признаков при использовании с линейными моделями, но использует гораздо меньше памяти, чем PolynomialFeatures.

from sklearn.datasets import fetch_covtype
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import MinMaxScaler
from sklearn.kernel_approximation import PolynomialCountSketch
from sklearn.linear_model import LogisticRegression

X, y = fetch_covtype(return_X_y=True)
pipe = make_pipeline(
    MinMaxScaler(),
    PolynomialCountSketch(degree=2, n_components=300),
    LogisticRegression(max_iter=1000),
)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, train_size=5000, test_size=10000, random_state=42
)
pipe.fit(X_train, y_train).score(X_test, y_test)

0.7371

Для сравнения, вот оценка линейной базовой модели для тех же данных:

linear_baseline = make_pipeline(MinMaxScaler(), LogisticRegression(max_iter=1000))
linear_baseline.fit(X_train, y_train).score(X_test, y_test)

0.714

Графики индивидуального условного ожидания

Доступен новый тип диаграммы частичного распределения: диаграмма индивидуального условного ожидания (ICE). Диаграммы ICE визуализируют зависимость предсказания от признака для каждой выборки по отдельности, с одной линией на выборку. См. Руководство пользователя

from sklearn.ensemble import RandomForestRegressor
from sklearn.datasets import fetch_california_housing

# from sklearn.inspection import plot_partial_dependence
from sklearn.inspection import PartialDependenceDisplay

X, y = fetch_california_housing(return_X_y=True, as_frame=True)
features = ["MedInc", "AveOccup", "HouseAge", "AveRooms"]
est = RandomForestRegressor(n_estimators=10)
est.fit(X, y)

# plot_partial_dependence has been removed in version 1.2. From 1.2, use
# PartialDependenceDisplay instead.
# display = plot_partial_dependence(
display = PartialDependenceDisplay.from_estimator(
    est,
    X,
    features,
    kind="individual",
    subsample=50,
    n_jobs=3,
    grid_resolution=20,
    random_state=0,
)
display.figure_.suptitle(
    "Partial dependence of house value on non-location features\n"
    "for the California housing dataset, with BayesianRidge"
)
display.figure_.subplots_adjust(hspace=0.3)