Регрессия Тейла—Сена

Вычисляет регрессию Тейла—Сена на синтетическом наборе данных.

Дополнительную информацию о регрессоре см. в разделе Оцениватель Тейла—Сена: оцениватель на основе обобщённой медианы.

По сравнению с оценивателем МНК (метод наименьших квадратов) оцениватель Тейла—Сена устойчив к выбросам. В случае простой линейной регрессии его точка разрушения составляет около 29,3 %, то есть он может выдерживать произвольные искажения данных (выбросы) до 29,3 % в двумерном случае.

Оценивание модели выполняется путём вычисления наклонов и свободных членов для подмножества всех возможных комбинаций из p точек подвыборки. Если оценивается свободный член, p должно быть не меньше n_features + 1. Итоговые наклон и свободный член определяются как пространственная медиана этих наклонов и свободных членов.

В некоторых случаях метод Тейла—Сена работает лучше, чем RANSAC, который также является устойчивым методом. Это показано во втором примере ниже: выбросы по оси x искажают результаты RANSAC. Эту проблему можно устранить настройкой параметра residual_threshold алгоритма RANSAC, однако, как правило, для этого нужны предварительные знания о данных и природе выбросов. Из-за вычислительной сложности метода Тейла—Сена рекомендуется использовать его только для небольших задач с точки зрения количества образцов и признаков. Для более крупных задач параметр max_subpopulation ограничивает множество возможных комбинаций из p точек подвыборки случайно выбранным подмножеством, тем самым ограничивая и время выполнения. Поэтому метод Тейла—Сена применим и к более крупным задачам, но при этом теряет часть своих математических свойств, поскольку работает со случайным подмножеством.

# Authors: The scikit-learn developers
# SPDX-License-Identifier: BSD-3-Clause

import time

import matplotlib.pyplot as plt
import numpy as np

from sklearn.linear_model import LinearRegression, RANSACRegressor, TheilSenRegressor

estimators = [
    ("OLS", LinearRegression()),
    ("Theil-Sen", TheilSenRegressor(random_state=42)),
    ("RANSAC", RANSACRegressor(random_state=42)),
]
colors = {"OLS": "turquoise", "Theil-Sen": "gold", "RANSAC": "lightgreen"}
lw = 2

Выбросы только по оси y

np.random.seed(0)
n_samples = 200
# Linear model y = 3*x + N(2, 0.1**2)
x = np.random.randn(n_samples)
w = 3.0
c = 2.0
noise = 0.1 * np.random.randn(n_samples)
y = w * x + c + noise
# 10% outliers
y[-20:] += -20 * x[-20:]
X = x[:, np.newaxis]

plt.scatter(x, y, color="indigo", marker="x", s=40)
line_x = np.array([-3, 3])
for name, estimator in estimators:
    t0 = time.time()
    estimator.fit(X, y)
    elapsed_time = time.time() - t0
    y_pred = estimator.predict(line_x.reshape(2, 1))
    plt.plot(
        line_x,
        y_pred,
        color=colors[name],
        linewidth=lw,
        label="%s (fit time: %.2fs)" % (name, elapsed_time),
    )

plt.axis("tight")
plt.legend(loc="upper right")
_ = plt.title("Corrupt y")

Выбросы по оси X

np.random.seed(0)
# Linear model y = 3*x + N(2, 0.1**2)
x = np.random.randn(n_samples)
noise = 0.1 * np.random.randn(n_samples)
y = 3 * x + 2 + noise
# 10% outliers
x[-20:] = 9.9
y[-20:] += 22
X = x[:, np.newaxis]

plt.figure()
plt.scatter(x, y, color="indigo", marker="x", s=40)

line_x = np.array([-3, 10])
for name, estimator in estimators:
    t0 = time.time()
    estimator.fit(X, y)
    elapsed_time = time.time() - t0
    y_pred = estimator.predict(line_x.reshape(2, 1))
    plt.plot(
        line_x,
        y_pred,
        color=colors[name],
        linewidth=lw,
        label="%s (fit time: %.2fs)" % (name, elapsed_time),
    )

plt.axis("tight")
plt.legend(loc="upper left")
plt.title("Corrupt x")
plt.show()

Общее время выполнения скрипта: (0 минут 0,577 секунды)

Download Jupyter notebook: plot_theilsen.ipynb

Download Python source code: plot_theilsen.py

Download zipped: plot_theilsen.zip

Связанные примеры

Устойчивое оценивание линейной модели с помощью RANSAC

Аппроксимация с помощью устойчивого линейного оценивателя

Сравнение влияния различных масштабировщиков на данные с выбросами

Регрессия методом наименьших квадратов и регрессия Риджа