做淘宝网站目的,服务器php网站打不开,攀枝花仁和住房和城乡建设局网站,做外贸找客户的网站自动控制#xff1a; 最小二乘估计#xff08;LSE#xff09;、加权最小二乘估计#xff08;WLS#xff09;和线性最小方差估计
在数据分析和机器学习中#xff0c;参数估计是一个关键步骤。最小二乘估计#xff08;LSE#xff09;、加权最小二乘估计#xff08;WLS 最小二乘估计LSE、加权最小二乘估计WLS和线性最小方差估计
在数据分析和机器学习中参数估计是一个关键步骤。最小二乘估计LSE、加权最小二乘估计WLS和线性最小方差估计LMMSE是几种常见的参数估计方法。这篇博客将详细介绍这些方法及其均方误差MSE的计算并通过Python代码实现这些方法。
1. 最小二乘估计 (LSE)
公式与推导
给定一个线性模型 y X β ϵ y X\beta \epsilon yXβϵ 其中 y y y 是观测向量 X X X 是设计矩阵 β \beta β 是待估计的参数向量 ϵ \epsilon ϵ是误差向量假设其服从正态分布均值为零协方差矩阵为 σ 2 I \sigma^2 I σ2I。
最小二乘估计是通过最小化残差平方和来估计参数 β \beta β β ^ LSE ( X T X ) − 1 X T y \hat{\beta}_{\text{LSE}} (X^T X)^{-1} X^T y β^LSE(XTX)−1XTy
均方误差 (MSE)
均方误差定义为 MSE E [ ( β − β ^ ) T ( β − β ^ ) ] \text{MSE} \mathbb{E}\left[ (\beta - \hat{\beta})^T (\beta - \hat{\beta}) \right] MSEE[(β−β^)T(β−β^)]
对于最小二乘估计均方误差为 MSE LSE σ 2 tr ( ( X T X ) − 1 ) \text{MSE}_{\text{LSE}} \sigma^2 \text{tr}\left( (X^T X)^{-1} \right) MSELSEσ2tr((XTX)−1)
2. 加权最小二乘估计 (WLS)
公式与推导
当观测值有不同的方差时使用加权最小二乘估计。假设误差向量 ϵ \epsilon ϵ 的协方差矩阵为 Σ \Sigma Σ加权最小二乘估计为 β ^ WLS ( X T Σ − 1 X ) − 1 X T Σ − 1 y \hat{\beta}_{\text{WLS}} (X^T \Sigma^{-1} X)^{-1} X^T \Sigma^{-1} y β^WLS(XTΣ−1X)−1XTΣ−1y
均方误差 (MSE)
加权最小二乘估计的均方误差为 MSE WLS σ 2 tr ( ( X T Σ − 1 X ) − 1 ) \text{MSE}_{\text{WLS}} \sigma^2 \text{tr}\left( (X^T \Sigma^{-1} X)^{-1} \right) MSEWLSσ2tr((XTΣ−1X)−1)
3. 线性最小方差估计 (LMMSE)
公式与推导
线性最小方差估计考虑了观测误差和先验信息。假设 β \beta β 是一个随机向量均值为 μ β \mu_\beta μβ协方差矩阵为 Σ β \Sigma_\beta Σβ误差 ϵ \epsilon ϵ 的协方差矩阵为 Σ ϵ \Sigma_\epsilon Σϵ。LMMSE的公式为 β ^ LMMSE Σ β X T ( X Σ β X T Σ ϵ ) − 1 y \hat{\beta}_{\text{LMMSE}} \Sigma_\beta X^T (X \Sigma_\beta X^T \Sigma_\epsilon)^{-1} y β^LMMSEΣβXT(XΣβXTΣϵ)−1y
均方误差 (MSE)
LMMSE的均方误差为 MSE LMMSE Σ β − Σ β X T ( X Σ β X T Σ ϵ ) − 1 X Σ β \text{MSE}_{\text{LMMSE}} \Sigma_\beta - \Sigma_\beta X^T (X \Sigma_\beta X^T \Sigma_\epsilon)^{-1} X \Sigma_\beta MSELMMSEΣβ−ΣβXT(XΣβXTΣϵ)−1XΣβ
示例代码
下面的Python代码展示了如何计算LSE、WLS和LMMSE以及相应的均方误差。
import numpy as np
import matplotlib.pyplot as pltdef compute_LSE(X, y):# 最小二乘估计beta_hat_LSE np.linalg.inv(X.T X) X.T yreturn beta_hat_LSEdef compute_WLS(X, y, Sigma):# 加权最小二乘估计Sigma_inv np.linalg.inv(Sigma)beta_hat_WLS np.linalg.inv(X.T Sigma_inv X) X.T Sigma_inv yreturn beta_hat_WLSdef compute_LMMSE(X, y, mu_beta, Sigma_beta, Sigma_epsilon):# 线性最小方差估计Sigma_beta_XT Sigma_beta X.Tinv_term np.linalg.inv(X Sigma_beta_XT Sigma_epsilon)beta_hat_LMMSE mu_beta Sigma_beta_XT inv_term (y - X mu_beta)return beta_hat_LMMSEdef compute_MSE_LSE(X, sigma):# LSE的均方误差MSE_LSE sigma ** 2 * np.trace(np.linalg.inv(X.T X))return MSE_LSEdef compute_MSE_WLS(X, Sigma, sigma):# WLS的均方误差Sigma_inv np.linalg.inv(Sigma)MSE_WLS sigma ** 2 * np.trace(np.linalg.inv(X.T Sigma_inv X))return MSE_WLSdef compute_MSE_LMMSE(X, Sigma_beta, Sigma_epsilon):# LMMSE的均方误差term Sigma_beta X.T np.linalg.inv(X Sigma_beta X.T Sigma_epsilon)MSE_LMMSE np.trace(Sigma_beta - term X Sigma_beta)return MSE_LMMSE# 示例数据
np.random.seed(0)
n 100
p 5
X np.random.randn(n, p)
beta_true np.random.randn(p)
y X beta_true np.random.randn(n)# 计算LSE
beta_hat_LSE compute_LSE(X, y)
print(LSE:, beta_hat_LSE)# 计算WLS
Sigma np.diag(np.random.rand(n)) # 假设误差的协方差矩阵为对角矩阵
beta_hat_WLS compute_WLS(X, y, Sigma)
print(WLS:, beta_hat_WLS)# 计算LMMSE
mu_beta np.zeros(p)
Sigma_beta np.eye(p)
Sigma_epsilon np.eye(n)
beta_hat_LMMSE compute_LMMSE(X, y, mu_beta, Sigma_beta, Sigma_epsilon)
print(LMMSE:, beta_hat_LMMSE)# 计算均方误差
sigma 1
MSE_LSE compute_MSE_LSE(X, sigma)
MSE_WLS compute_MSE_WLS(X, Sigma, sigma)
MSE_LMMSE compute_MSE_LMMSE(X, Sigma_beta, Sigma_epsilon)
print(MSE_LSE:, MSE_LSE)
print(MSE_WLS:, MSE_WLS)
print(MSE_LMMSE:, MSE_LMMSE)
代码说明
compute_LSE: 计算最小二乘估计LSE。compute_WLS: 计算加权最小二乘估计WLS。compute_LMMSE: 计算线性最小方差估计LMMSE。compute_MSE_LSE: 计算LSE的均方误差MSE。compute_MSE_WLS: 计算WLS的均方误差MSE。compute_MSE_LMMSE: 计算LMMSE的均方误差MSE。 运行上述代码可以得到最小二乘估计、加权最小二乘估计和线性最小方差估计的结果以及相应的均方误差
LSE: [ 0.00203471 0.21309766 1.05822246 -0.56680025 1.45839468]
WLS: [ 0.0597175 0.15308323 1.07124848 -0.59091883 1.47423845]
LMMSE: [-0.13400144 0.04498152 0.8584689 -0.71304874 1.25876277]
MSE_LSE: 5.008474
MSE_WLS: 0.13285989867054735
MSE_LMMSE: 1.2825935217514267结论
在实际应用中选择合适的估计方法和准确地整定其参数是确保估计质量的关键。本文通过Python代码展示了如何计算最小二乘估计LSE、加权最小二乘估计WLS和线性最小方差估计LMMSE并计算了相应的均方误差MSE。这些方法各有优缺点选择合适的方法取决于具体的应用场景和数据特性。
LSE适用于误差均方同分布的情况而WLS适用于误差方差不同的情况。LMMSE则结合了观测误差和先验信息在有先验信息的情况下表现较好。通过正确选择和使用这些方法可以有效地提高参数估计的精度和可靠性。
希望这篇博客能够帮助您理解和应用最小二乘估计、加权最小二乘估计和线性最小方差估计。如果有任何问题或建议欢迎在评论区留言讨论。 文章转载自： http://www.morning.mdpcz.cn.gov.cn.mdpcz.cn http://www.morning.kcyxs.cn.gov.cn.kcyxs.cn http://www.morning.qzpkr.cn.gov.cn.qzpkr.cn http://www.morning.sacxbs.cn.gov.cn.sacxbs.cn http://www.morning.ffbp.cn.gov.cn.ffbp.cn http://www.morning.rgsgk.cn.gov.cn.rgsgk.cn http://www.morning.gnlyq.cn.gov.cn.gnlyq.cn http://www.morning.wfyqn.cn.gov.cn.wfyqn.cn http://www.morning.thlr.cn.gov.cn.thlr.cn http://www.morning.htpjl.cn.gov.cn.htpjl.cn http://www.morning.kbntl.cn.gov.cn.kbntl.cn http://www.morning.zcncb.cn.gov.cn.zcncb.cn http://www.morning.gkmwx.cn.gov.cn.gkmwx.cn http://www.morning.hxpsp.cn.gov.cn.hxpsp.cn http://www.morning.fgkrh.cn.gov.cn.fgkrh.cn http://www.morning.wjlkz.cn.gov.cn.wjlkz.cn http://www.morning.rfmzc.cn.gov.cn.rfmzc.cn http://www.morning.dmsxd.cn.gov.cn.dmsxd.cn http://www.morning.pwggd.cn.gov.cn.pwggd.cn http://www.morning.prkdl.cn.gov.cn.prkdl.cn http://www.morning.tmsxn.cn.gov.cn.tmsxn.cn http://www.morning.mflhr.cn.gov.cn.mflhr.cn http://www.morning.rlbg.cn.gov.cn.rlbg.cn http://www.morning.csxlm.cn.gov.cn.csxlm.cn http://www.morning.krtcjc.cn.gov.cn.krtcjc.cn http://www.morning.yrctp.cn.gov.cn.yrctp.cn http://www.morning.cywf.cn.gov.cn.cywf.cn http://www.morning.wkmrl.cn.gov.cn.wkmrl.cn http://www.morning.hlyfn.cn.gov.cn.hlyfn.cn http://www.morning.gxtbn.cn.gov.cn.gxtbn.cn http://www.morning.pbtrx.cn.gov.cn.pbtrx.cn http://www.morning.wflpj.cn.gov.cn.wflpj.cn http://www.morning.rxhs.cn.gov.cn.rxhs.cn http://www.morning.zmlbq.cn.gov.cn.zmlbq.cn http://www.morning.hhqjf.cn.gov.cn.hhqjf.cn http://www.morning.qdlnw.cn.gov.cn.qdlnw.cn http://www.morning.sffwz.cn.gov.cn.sffwz.cn http://www.morning.mphfn.cn.gov.cn.mphfn.cn http://www.morning.kdldx.cn.gov.cn.kdldx.cn http://www.morning.lgpzq.cn.gov.cn.lgpzq.cn http://www.morning.fhsgw.cn.gov.cn.fhsgw.cn http://www.morning.prqdr.cn.gov.cn.prqdr.cn http://www.morning.lkgqb.cn.gov.cn.lkgqb.cn http://www.morning.njfgl.cn.gov.cn.njfgl.cn http://www.morning.pjyrl.cn.gov.cn.pjyrl.cn http://www.morning.yjprj.cn.gov.cn.yjprj.cn http://www.morning.dwdjj.cn.gov.cn.dwdjj.cn http://www.morning.dlurfdo.cn.gov.cn.dlurfdo.cn http://www.morning.wdqhg.cn.gov.cn.wdqhg.cn http://www.morning.pjwrl.cn.gov.cn.pjwrl.cn http://www.morning.lnrhk.cn.gov.cn.lnrhk.cn http://www.morning.wcft.cn.gov.cn.wcft.cn http://www.morning.rwzkp.cn.gov.cn.rwzkp.cn http://www.morning.nkmw.cn.gov.cn.nkmw.cn http://www.morning.zntf.cn.gov.cn.zntf.cn http://www.morning.jjsxh.cn.gov.cn.jjsxh.cn http://www.morning.rydhq.cn.gov.cn.rydhq.cn http://www.morning.yslfn.cn.gov.cn.yslfn.cn http://www.morning.pfmsh.cn.gov.cn.pfmsh.cn http://www.morning.c7497.cn.gov.cn.c7497.cn http://www.morning.ltfnl.cn.gov.cn.ltfnl.cn http://www.morning.gfznl.cn.gov.cn.gfznl.cn http://www.morning.xnwjt.cn.gov.cn.xnwjt.cn http://www.morning.pndw.cn.gov.cn.pndw.cn http://www.morning.rhkmn.cn.gov.cn.rhkmn.cn http://www.morning.cflxx.cn.gov.cn.cflxx.cn http://www.morning.wlfxn.cn.gov.cn.wlfxn.cn http://www.morning.rftk.cn.gov.cn.rftk.cn http://www.morning.rdzlh.cn.gov.cn.rdzlh.cn http://www.morning.jypqx.cn.gov.cn.jypqx.cn http://www.morning.jggr.cn.gov.cn.jggr.cn http://www.morning.wiitw.com.gov.cn.wiitw.com http://www.morning.yrjkp.cn.gov.cn.yrjkp.cn http://www.morning.hqykb.cn.gov.cn.hqykb.cn http://www.morning.xqcst.cn.gov.cn.xqcst.cn http://www.morning.jxcwn.cn.gov.cn.jxcwn.cn http://www.morning.ffgbq.cn.gov.cn.ffgbq.cn http://www.morning.clfct.cn.gov.cn.clfct.cn http://www.morning.fswml.cn.gov.cn.fswml.cn http://www.morning.rdfq.cn.gov.cn.rdfq.cn
