Графическое отображение границ классификации с различными ядрами SVM

Создание набора данных

Мы создаем двумерный набор данных классификации с 16 образцами и двумя классами. Мы отображаем образцы с цветами, соответствующими их соответствующим целям.

import matplotlib.pyplot as plt
import numpy as np

X = np.array(
    [
        [0.4, -0.7],
        [-1.5, -1.0],
        [-1.4, -0.9],
        [-1.3, -1.2],
        [-1.1, -0.2],
        [-1.2, -0.4],
        [-0.5, 1.2],
        [-1.5, 2.1],
        [1.0, 1.0],
        [1.3, 0.8],
        [1.2, 0.5],
        [0.2, -2.0],
        [0.5, -2.4],
        [0.2, -2.3],
        [0.0, -2.7],
        [1.3, 2.1],
    ]
)

y = np.array([0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1])

# Plotting settings
fig, ax = plt.subplots(figsize=(4, 3))
x_min, x_max, y_min, y_max = -3, 3, -3, 3
ax.set(xlim=(x_min, x_max), ylim=(y_min, y_max))

# Plot samples by color and add legend
scatter = ax.scatter(X[:, 0], X[:, 1], s=150, c=y, label=y, edgecolors="k")
ax.legend(*scatter.legend_elements(), loc="upper right", title="Classes")
ax.set_title("Samples in two-dimensional feature space")
_ = plt.show()

Мы видим, что образцы не являются четко разделимыми прямой линией.

Обучение модели SVC и построение границ принятия решений

Мы определяем функцию, которая подгоняет классификатор SVC, позволяя параметру kernel как вход, а затем строит границы принятия решений, полученные моделью, используя DecisionBoundaryDisplay.

Обратите внимание, что для простоты параметр C установлен на его значение по умолчанию (C=1) в этом примере, а параметр gamma установлен на gamma=2 во всех ядрах, хотя он автоматически игнорируется для линейного ядра. В реальной задаче классификации, где важна производительность, настройка параметров (например, с использованием GridSearchCV) настоятельно рекомендуется для захвата различных структур в данных.

Установка response_method="predict" в DecisionBoundaryDisplay окрашивает области в зависимости от их предсказанного класса. Использование response_method="decision_function" позволяет нам также отображать границу принятия решений и отступы по обе стороны от нее. Наконец, опорные векторы, используемые во время обучения (которые всегда лежат на отступах), идентифицируются с помощью атрибута support_vectors_ обученных SVC и также выводятся на график.

from sklearn import svm
from sklearn.inspection import DecisionBoundaryDisplay


def plot_training_data_with_decision_boundary(
    kernel, ax=None, long_title=True, support_vectors=True
):
    # Train the SVC
    clf = svm.SVC(kernel=kernel, gamma=2).fit(X, y)

    # Settings for plotting
    if ax is None:
        _, ax = plt.subplots(figsize=(4, 3))
    x_min, x_max, y_min, y_max = -3, 3, -3, 3
    ax.set(xlim=(x_min, x_max), ylim=(y_min, y_max))

    # Plot decision boundary and margins
    common_params = {"estimator": clf, "X": X, "ax": ax}
    DecisionBoundaryDisplay.from_estimator(
        **common_params,
        response_method="predict",
        plot_method="pcolormesh",
        alpha=0.3,
    )
    DecisionBoundaryDisplay.from_estimator(
        **common_params,
        response_method="decision_function",
        plot_method="contour",
        levels=[-1, 0, 1],
        colors=["k", "k", "k"],
        linestyles=["--", "-", "--"],
    )

    if support_vectors:
        # Plot bigger circles around samples that serve as support vectors
        ax.scatter(
            clf.support_vectors_[:, 0],
            clf.support_vectors_[:, 1],
            s=150,
            facecolors="none",
            edgecolors="k",
        )

    # Plot samples by color and add legend
    ax.scatter(X[:, 0], X[:, 1], c=y, s=30, edgecolors="k")
    ax.legend(*scatter.legend_elements(), loc="upper right", title="Classes")
    if long_title:
        ax.set_title(f" Decision boundaries of {kernel} kernel in SVC")
    else:
        ax.set_title(kernel)

    if ax is None:
        plt.show()

Линейное ядро

Линейное ядро — это скалярное произведение входных образцов:

\[K(\mathbf{x}_1, \mathbf{x}_2) = \mathbf{x}_1^\top \mathbf{x}_2\]

Затем он применяется к любой комбинации двух точек данных (образцов) в наборе данных. Скалярное произведение двух точек определяет cosine_similarity между обеими точками. Чем выше значение, тем больше сходство точек.

plot_training_data_with_decision_boundary("linear")

Обучение SVC на линейном ядре приводит к не преобразованному пространству признаков, где гиперплоскость и отступы являются прямыми линиями. Из-за отсутствия выразительности линейного ядра обученные классы не идеально отражают данные обучения.

Полиномиальное ядро

Полиномиальное ядро изменяет понятие сходства. Функция ядра определяется как:

\[K(\mathbf{x}_1, \mathbf{x}_2) = (\gamma \cdot \ \mathbf{x}_1^\top\mathbf{x}_2 + r)^d\]

где \({d}\) — степень (degree) полинома, \({\gamma}\) (gamma) контролирует влияние каждого отдельного образца обучения на границу принятия решений, а \({r}\) — член смещения (coef0) , который смещает данные вверх или вниз. Здесь мы используем значение по умолчанию для степени полинома в функции ядра (degree=3). Когда coef0=0 (по умолчанию), данные преобразуются, но не добавляется дополнительная размерность. Использование полиномиального ядра эквивалентно созданию PolynomialFeatures и последующему подгонке SVC с линейным ядром на преобразованных данных, хотя этот альтернативный подход был бы вычислительно дорогостоящим для большинства наборов данных.

plot_training_data_with_decision_boundary("poly")

Полиномиальное ядро с gamma=2` хорошо адаптируется к данным обучения, заставляя отступы по обе стороны от гиперплоскости соответственно изгибаться.

Ядро RBF

Ядро радиальной базисной функции (RBF), также известное как гауссовское ядро, является ядром по умолчанию для машин опорных векторов в scikit-learn. Оно измеряет сходство между двумя точками данных в бесконечномерном пространстве, а затем приближается к классификации большинством голосов. Функция ядра определяется как:

\[K(\mathbf{x}_1, \mathbf{x}_2) = \exp\left(-\gamma \cdot {\|\mathbf{x}_1 - \mathbf{x}_2\|^2}\right)\]

где \({\gamma}\) (gamma) контролирует влияние каждого отдельного образца обучения на границу принятия решений.

Чем больше евклидово расстояние между двумя точками \(\|\mathbf{x}_1 - \mathbf{x}_2\|^2\), тем ближе функция ядра к нулю. Это означает, что две удаленные точки с большей вероятностью будут несходными.

plot_training_data_with_decision_boundary("rbf")

На графике можно увидеть, как границы принятия решений стремятся сжаться вокруг точек данных, которые находятся близко друг к другу.

Ядро сигмоиды

Функция ядра сигмоиды определяется как:

\[K(\mathbf{x}_1, \mathbf{x}_2) = \tanh(\gamma \cdot \mathbf{x}_1^\top\mathbf{x}_2 + r)\]

где коэффициент ядра \({\gamma}\) (gamma) контролирует влияние каждого отдельного образца обучения на границу принятия решений, а \({r}\) — член смещения (coef0) , который смещает данные вверх или вниз.

В сигмоидном ядре сходство между двумя точками данных вычисляется с помощью гиперболической функции тангенса (\(\tanh\)). Функция ядра масштабирует и, возможно, смещает скалярное произведение двух точек (\(\mathbf{x}_1\) и \(\mathbf{x}_2\)).

plot_training_data_with_decision_boundary("sigmoid")

Мы видим, что границы принятия решений, полученные с помощью сигмоидного ядра, выглядят изогнутыми и нерегулярными. Граница принятия решений пытается разделить классы, подгоняя кривую в форме сигмоиды, что приводит к сложной границе, которая может не обобщаться хорошо на незасмотренные данные. Из этого примера становится очевидным, что сигмоидное ядро имеет очень специфические области применения при работе с данными, которые демонстрируют сигмоидальную форму. В этом примере тщательная настройка может найти более обобщаемые границы принятия решений. Из-за своей специфичности сигмоидное ядро используется реже на практике по сравнению с другими ядрами.