Классификация MNIST с помощью мультиномиальной логистической регрессии и L1-регуляризации

Здесь мы обучаем мультиномиальную логистическую регрессию с L1-регуляризацией на подмножестве задачи классификации цифр MNIST. Для этого используется алгоритм SAGA: этот решатель работает быстро, когда количество образцов значительно превышает количество признаков, и способен точно оптимизировать негладкие целевые функции, что актуально для L1-регуляризации. Точность на тестовой выборке достигает > 0.8, а векторы весов остаются разреженными и поэтому более интерпретируемыми.

Обратите внимание, что точность этой линейной модели с L1-регуляризацией значительно ниже, чем у линейной модели с L2-регуляризацией или нелинейной многослойной модели перцептрона на этом наборе данных.

Sparsity with L1 penalty: 80.33%
Test score with L1 penalty: 0.8212
Example run in 7.986 s

# Authors: The scikit-learn developers
# SPDX-License-Identifier: BSD-3-Clause

import time

import matplotlib.pyplot as plt
import numpy as np

from sklearn.datasets import fetch_openml
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.utils import check_random_state

# Turn down for faster convergence
t0 = time.time()
train_samples = 5000

# Load data from https://www.openml.org/d/554
X, y = fetch_openml("mnist_784", version=1, return_X_y=True, as_frame=False)

random_state = check_random_state(0)
permutation = random_state.permutation(X.shape[0])
X = X[permutation]
y = y[permutation]
X = X.reshape((X.shape[0], -1))

X_train, X_test, y_train, y_test = train_test_split(
    X, y, train_size=train_samples, test_size=10000
)

scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

# Turn up tolerance for faster convergence
clf = LogisticRegression(C=50.0 / train_samples, l1_ratio=1, solver="saga", tol=0.1)
clf.fit(X_train, y_train)
sparsity = np.mean(clf.coef_ == 0) * 100
score = clf.score(X_test, y_test)
# print('Best C % .4f' % clf.C_)
print("Sparsity with L1 penalty: %.2f%%" % sparsity)
print("Test score with L1 penalty: %.4f" % score)

coef = clf.coef_.copy()
plt.figure(figsize=(10, 5))
scale = np.abs(coef).max()
for i in range(10):
    l1_plot = plt.subplot(2, 5, i + 1)
    l1_plot.imshow(
        coef[i].reshape(28, 28),
        interpolation="nearest",
        cmap=plt.cm.RdBu,
        vmin=-scale,
        vmax=scale,
    )
    l1_plot.set_xticks(())
    l1_plot.set_yticks(())
    l1_plot.set_xlabel(f"Class {i}")
plt.suptitle("Classification vector for...")

run_time = time.time() - t0
print("Example run in %.3f s" % run_time)
plt.show()

Общее время выполнения скрипта: (0 минут 8.041 секунды)

Download Jupyter notebook: plot_sparse_logistic_regression_mnist.ipynb

Download Python source code: plot_sparse_logistic_regression_mnist.py

Download zipped: plot_sparse_logistic_regression_mnist.zip

Связанные примеры

Штраф L1 и разреженность в логистической регрессии

Многоклассовая разреженная логистическая регрессия для 20newgroups

Траектория регуляризации логистической регрессии с L1-регуляризацией

Масштабирование параметра регуляризации для SVC