Оценки по методам Ледоит-Вольфа и OAS

Обычная оценка ковариационной матрицы методом максимального правдоподобия может быть регуляризована с помощью сжатия. Ледоит и Вольф предложили замкнутую формулу для вычисления асимптотически оптимального параметра сжатия (минимизирующего критерий MSE), что приводит к оценке ковариации по методу Ледоит-Вольфа.

Чен и др. предложили улучшение параметра сжатия Ледоит-Вольфа, коэффициент OAS, чья сходимость значительно лучше при предположении, что данные распределены по нормальному закону.

Этот пример, вдохновлённый публикацией Чена [1], демонстрирует сравнение оценок MSE методов LW и OAS, используя данные, распределённые по нормальному закону.

[1] «Алгоритмы сжатия для оценки ковариационной матрицы MMSE» Чен и др., IEEE Trans. on Sign. Proc., том 58, выпуск 10, октябрь 2010.

# Authors: The scikit-learn developers
# SPDX-License-Identifier: BSD-3-Clause

import matplotlib.pyplot as plt
import numpy as np
from scipy.linalg import cholesky, toeplitz

from sklearn.covariance import OAS, LedoitWolf

np.random.seed(0)

n_features = 100
# simulation covariance matrix (AR(1) process)
r = 0.1
real_cov = toeplitz(r ** np.arange(n_features))
coloring_matrix = cholesky(real_cov)

n_samples_range = np.arange(6, 31, 1)
repeat = 100
lw_mse = np.zeros((n_samples_range.size, repeat))
oa_mse = np.zeros((n_samples_range.size, repeat))
lw_shrinkage = np.zeros((n_samples_range.size, repeat))
oa_shrinkage = np.zeros((n_samples_range.size, repeat))
for i, n_samples in enumerate(n_samples_range):
    for j in range(repeat):
        X = np.dot(np.random.normal(size=(n_samples, n_features)), coloring_matrix.T)

        lw = LedoitWolf(store_precision=False, assume_centered=True)
        lw.fit(X)
        lw_mse[i, j] = lw.error_norm(real_cov, scaling=False)
        lw_shrinkage[i, j] = lw.shrinkage_

        oa = OAS(store_precision=False, assume_centered=True)
        oa.fit(X)
        oa_mse[i, j] = oa.error_norm(real_cov, scaling=False)
        oa_shrinkage[i, j] = oa.shrinkage_

# plot MSE
plt.subplot(2, 1, 1)
plt.errorbar(
    n_samples_range,
    lw_mse.mean(1),
    yerr=lw_mse.std(1),
    label="Ledoit-Wolf",
    color="navy",
    lw=2,
)
plt.errorbar(
    n_samples_range,
    oa_mse.mean(1),
    yerr=oa_mse.std(1),
    label="OAS",
    color="darkorange",
    lw=2,
)
plt.ylabel("Squared error")
plt.legend(loc="upper right")
plt.title("Comparison of covariance estimators")
plt.xlim(5, 31)

# plot shrinkage coefficient
plt.subplot(2, 1, 2)
plt.errorbar(
    n_samples_range,
    lw_shrinkage.mean(1),
    yerr=lw_shrinkage.std(1),
    label="Ledoit-Wolf",
    color="navy",
    lw=2,
)
plt.errorbar(
    n_samples_range,
    oa_shrinkage.mean(1),
    yerr=oa_shrinkage.std(1),
    label="OAS",
    color="darkorange",
    lw=2,
)
plt.xlabel("n_samples")
plt.ylabel("Shrinkage")
plt.legend(loc="lower right")
plt.ylim(plt.ylim()[0], 1.0 + (plt.ylim()[1] - plt.ylim()[0]) / 10.0)
plt.xlim(5, 31)

plt.show()

Общее время выполнения скрипта: (0 минут 2.400 секунд)

Download Jupyter notebook: plot_lw_vs_oas.ipynb

Download Python source code: plot_lw_vs_oas.py

Download zipped: plot_lw_vs_oas.zip

Связанные примеры

Оценивание ковариационной матрицы сжатием: LedoitWolf против OAS и оценки максимального правдоподобия

Линейный дискриминантный анализ с нормальным, Ледоит-Вольфом и OAS для классификации

Устойчивая оценка ковариации против эмпирической оценки

Разреженное оценивание обратной ковариационной матрицы