Основные нововведения в scikit-learn 0.23

Обобщённые линейные модели и функция потерь Пуассона для градиентного бустинга

Наконец стали доступны обобщённые линейные модели с функциями потерь, отличными от нормальной. В частности, реализованы три новых регрессора: PoissonRegressor, GammaRegressor и TweedieRegressor. Регрессор Пуассона можно использовать для моделирования положительных целочисленных значений или относительных частот. Подробнее см. в руководстве пользователя. Кроме того, HistGradientBoostingRegressor теперь также поддерживает функцию потерь ‘poisson’.

import numpy as np

from sklearn.ensemble import HistGradientBoostingRegressor
from sklearn.linear_model import PoissonRegressor
from sklearn.model_selection import train_test_split

n_samples, n_features = 1000, 20
rng = np.random.RandomState(0)
X = rng.randn(n_samples, n_features)
# positive integer target correlated with X[:, 5] with many zeros:
y = rng.poisson(lam=np.exp(X[:, 5]) / 2)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=rng)
glm = PoissonRegressor()
gbdt = HistGradientBoostingRegressor(loss="poisson", learning_rate=0.01)
glm.fit(X_train, y_train)
gbdt.fit(X_train, y_train)
print(glm.score(X_test, y_test))
print(gbdt.score(X_test, y_test))

0.35776189065725805
0.4366191749596743

Наглядное визуальное представление оценивателей

Теперь оцениватели можно визуализировать в блокнотах, включив параметр display='diagram'. Это особенно полезно для отображения структуры конвейеров и других составных оценивателей с возможностью взаимодействия, позволяющей получить подробную информацию. Нажмите на изображение примера ниже, чтобы раскрыть элементы Pipeline. О том, как использовать эту функцию, см. в разделе Визуализация составных оценивателей.

from sklearn import set_config
from sklearn.compose import make_column_transformer
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler

set_config(display="diagram")

num_proc = make_pipeline(SimpleImputer(strategy="median"), StandardScaler())

cat_proc = make_pipeline(
    SimpleImputer(strategy="constant", fill_value="missing"),
    OneHotEncoder(handle_unknown="ignore"),
)

preprocessor = make_column_transformer(
    (num_proc, ("feat1", "feat3")), (cat_proc, ("feat0", "feat2"))
)

clf = make_pipeline(preprocessor, LogisticRegression())
clf

Pipeline(steps=[('columntransformer',
                 ColumnTransformer(transformers=[('pipeline-1',
                                                  Pipeline(steps=[('simpleimputer',
                                                                   SimpleImputer(strategy='median')),
                                                                  ('standardscaler',
                                                                   StandardScaler())]),
                                                  ('feat1', 'feat3')),
                                                 ('pipeline-2',
                                                  Pipeline(steps=[('simpleimputer',
                                                                   SimpleImputer(fill_value='missing',
                                                                                 strategy='constant')),
                                                                  ('onehotencoder',
                                                                   OneHotEncoder(handle_unknown='ignore'))]),
                                                  ('feat0', 'feat2'))])),
                ('logisticregression', LogisticRegression())])

Улучшения масштабируемости и стабильности KMeans

Оцениватель KMeans был полностью переработан и теперь работает значительно быстрее и стабильнее. Кроме того, алгоритм Elkan теперь совместим с разреженными матрицами. Оцениватель использует параллелизм на основе OpenMP вместо joblib, поэтому параметр n_jobs больше не оказывает влияния. Подробнее о том, как управлять числом потоков, см. в нашей документации о параллелизме.

import numpy as np
import scipy

from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs
from sklearn.metrics import completeness_score
from sklearn.model_selection import train_test_split

rng = np.random.RandomState(0)
X, y = make_blobs(random_state=rng)
X = scipy.sparse.csr_matrix(X)
X_train, X_test, _, y_test = train_test_split(X, y, random_state=rng)
kmeans = KMeans(n_init="auto").fit(X_train)
print(completeness_score(kmeans.predict(X_test), y_test))

0.646170500955767

Улучшения оценивателей градиентного бустинга на основе гистограмм

В HistGradientBoostingClassifier и HistGradientBoostingRegressor внесён ряд улучшений. Помимо упомянутой выше функции потерь Пуассона, эти оцениватели теперь поддерживают веса объектов. Также добавлен автоматический критерий ранней остановки: по умолчанию ранняя остановка включается, если число образцов превышает 10 тыс. Наконец, теперь можно задавать монотонные ограничения, чтобы ограничивать прогнозы в зависимости от изменений определённых признаков. В следующем примере мы создаём целевую переменную, в целом положительно коррелирующую с первым признаком, но содержащую некоторый шум. Применение монотонных ограничений позволяет учесть в прогнозе общее влияние первого признака, а не подгонять его под шум. Пример применения см. в разделе Признаки в деревьях градиентного бустинга на основе гистограмм.

import numpy as np
from matplotlib import pyplot as plt

from sklearn.ensemble import HistGradientBoostingRegressor

# from sklearn.inspection import plot_partial_dependence
from sklearn.inspection import PartialDependenceDisplay
from sklearn.model_selection import train_test_split

n_samples = 500
rng = np.random.RandomState(0)
X = rng.randn(n_samples, 2)
noise = rng.normal(loc=0.0, scale=0.01, size=n_samples)
y = 5 * X[:, 0] + np.sin(10 * np.pi * X[:, 0]) - noise

gbdt_no_cst = HistGradientBoostingRegressor().fit(X, y)
gbdt_cst = HistGradientBoostingRegressor(monotonic_cst=[1, 0]).fit(X, y)

# plot_partial_dependence has been removed in version 1.2. From 1.2, use
# PartialDependenceDisplay instead.
# disp = plot_partial_dependence(
disp = PartialDependenceDisplay.from_estimator(
    gbdt_no_cst,
    X,
    features=[0],
    feature_names=["feature 0"],
    line_kw={"linewidth": 4, "label": "unconstrained", "color": "tab:blue"},
)
# plot_partial_dependence(
PartialDependenceDisplay.from_estimator(
    gbdt_cst,
    X,
    features=[0],
    line_kw={"linewidth": 4, "label": "constrained", "color": "tab:orange"},
    ax=disp.axes_,
)
disp.axes_[0, 0].plot(
    X[:, 0], y, "o", alpha=0.5, zorder=-1, label="samples", color="tab:green"
)
disp.axes_[0, 0].set_ylim(-3, 3)
disp.axes_[0, 0].set_xlim(-1, 1)
plt.legend()
plt.show()

Поддержка весов образцов в Lasso и ElasticNet

Два регрессора линейных моделей — Lasso и ElasticNet — теперь поддерживают веса образцов.

import numpy as np

from sklearn.datasets import make_regression
from sklearn.linear_model import Lasso
from sklearn.model_selection import train_test_split

n_samples, n_features = 1000, 20
rng = np.random.RandomState(0)
X, y = make_regression(n_samples, n_features, random_state=rng)
sample_weight = rng.rand(n_samples)
X_train, X_test, y_train, y_test, sw_train, sw_test = train_test_split(
    X, y, sample_weight, random_state=rng
)
reg = Lasso()
reg.fit(X_train, y_train, sample_weight=sw_train)
print(reg.score(X_test, y_test, sw_test))

0.999791942438998

Общее время выполнения скрипта: (0 минут 0.635 секунды)

Download Jupyter notebook: plot_release_highlights_0_23_0.ipynb

Download Python source code: plot_release_highlights_0_23_0.py

Download zipped: plot_release_highlights_0_23_0.zip

Связанные примеры

Основные нововведения scikit-learn 1.4

Основные нововведения scikit-learn 0.24

Основные нововведения scikit-learn 1.7

Монотонные ограничения