Влияние изменения порога на самообучение

В этом примере демонстрируется влияние изменения порога на самообучение. Загружается набор данных breast_cancer, а метки удаляются так, чтобы они оставались только у 50 из 569 образцов. На этом наборе данных обучается SelfTrainingClassifier с различными порогами.

На верхнем графике показано количество размеченных образцов, доступных классификатору к концу обучения, и его точность. На нижнем графике показана последняя итерация, на которой образцу была присвоена метка. Все значения получены с помощью перекрёстной проверки с 3 фолдами.

При низких порогах (в диапазоне [0.4, 0.5]) классификатор обучается на образцах, размеченных с низкой уверенностью. У таких образцов с низкой уверенностью, вероятно, будут неверно предсказаны метки, и в результате обучение на этих ошибочных метках приводит к низкой точности. Обратите внимание, что классификатор размечает почти все образцы и выполняет лишь одну итерацию.

При очень высоких порогах (в диапазоне [0.9, 1)) мы видим, что классификатор не расширяет набор данных (количество образцов с метками, назначенными в ходе самообучения, равно 0). В результате точность при пороге 0.9999 совпадает с точностью обычного классификатора с учителем.

Оптимальная точность достигается между этими крайними значениями при пороге около 0.7.

# Authors: The scikit-learn developers
# SPDX-License-Identifier: BSD-3-Clause

import matplotlib.pyplot as plt
import numpy as np

from sklearn import datasets
from sklearn.calibration import CalibratedClassifierCV
from sklearn.metrics import accuracy_score
from sklearn.model_selection import StratifiedKFold
from sklearn.semi_supervised import SelfTrainingClassifier
from sklearn.svm import SVC
from sklearn.utils import shuffle

n_splits = 3

X, y = datasets.load_breast_cancer(return_X_y=True)
X, y = shuffle(X, y, random_state=42)
y_true = y.copy()
y[50:] = -1
total_samples = y.shape[0]

base_classifier = CalibratedClassifierCV(SVC(gamma=0.001, random_state=42))

x_values = np.arange(0.4, 1.05, 0.05)
x_values = np.append(x_values, 0.99999)
scores = np.empty((x_values.shape[0], n_splits))
amount_labeled = np.empty((x_values.shape[0], n_splits))
amount_iterations = np.empty((x_values.shape[0], n_splits))

for i, threshold in enumerate(x_values):
    self_training_clf = SelfTrainingClassifier(base_classifier, threshold=threshold)

    # We need manual cross validation so that we don't treat -1 as a separate
    # class when computing accuracy
    skfolds = StratifiedKFold(n_splits=n_splits)
    for fold, (train_index, test_index) in enumerate(skfolds.split(X, y)):
        X_train = X[train_index]
        y_train = y[train_index]
        X_test = X[test_index]
        y_test = y[test_index]
        y_test_true = y_true[test_index]

        self_training_clf.fit(X_train, y_train)

        # The amount of labeled samples that at the end of fitting
        amount_labeled[i, fold] = (
            total_samples
            - np.unique(self_training_clf.labeled_iter_, return_counts=True)[1][0]
        )
        # The last iteration the classifier labeled a sample in
        amount_iterations[i, fold] = np.max(self_training_clf.labeled_iter_)

        y_pred = self_training_clf.predict(X_test)
        scores[i, fold] = accuracy_score(y_test_true, y_pred)


ax1 = plt.subplot(211)
ax1.errorbar(
    x_values, scores.mean(axis=1), yerr=scores.std(axis=1), capsize=2, color="b"
)
ax1.set_ylabel("Accuracy", color="b")
ax1.tick_params("y", colors="b")

ax2 = ax1.twinx()
ax2.errorbar(
    x_values,
    amount_labeled.mean(axis=1),
    yerr=amount_labeled.std(axis=1),
    capsize=2,
    color="g",
)
ax2.set_ylim(bottom=0)
ax2.set_ylabel("Amount of labeled samples", color="g")
ax2.tick_params("y", colors="g")

ax3 = plt.subplot(212, sharex=ax1)
ax3.errorbar(
    x_values,
    amount_iterations.mean(axis=1),
    yerr=amount_iterations.std(axis=1),
    capsize=2,
    color="b",
)
ax3.set_ylim(bottom=0)
ax3.set_ylabel("Amount of iterations")
ax3.set_xlabel("Threshold")

plt.show()

Общее время выполнения скрипта: (0 минут 10.933 секунды)

Download Jupyter notebook: plot_self_training_varying_threshold.ipynb

Download Python source code: plot_self_training_varying_threshold.py

Download zipped: plot_self_training_varying_threshold.zip

Связанные примеры

Настройка порогового значения функции принятия решений после обучения

Граница решений классификаторов с частичным обучением и SVM на наборе данных Iris

Важность перестановок при мультиколлинеарных или коррелированных признаках

Классификация текста с частичным привлечением учителя