西安建网站/辽宁好的百度seo公司
文章目录
- 序列相关性
- 序列相关性的含义
- 序列相关性的产生原因
- 序列相关性的后果
- 序列相关性的检验方法
- 序列相关性的修正措施
- 广义最小二乘法 GLS
- 广义差分法 GD
- 可行的广义最小二乘法 FGLS
- 杜宾两步法
- 科克伦-奥科特迭代法
序列相关性
序列相关性的含义
对于截面数据类型,如果样本是独立随机抽取的(多元回归模型基本假设 MLR.2),则从理论上保证了模型的随机干扰项相互独立,不存在序列相关。如果模型的随机干扰项违背了相互独立的基本假设,则称为存在序列相关问题。
由于时间序列数据不可重复观测,因此以时间序列数据为样本,一般会破坏随机抽样的假定。根据实证分析的一般经验,时间序列数据也会同时伴随着异方差问题,即违背了基本假定 MLR.5 。
Var(u)=E(uu′)=[σ2σ12...σ1Tσ21σ2...σ2T⋮⋮⋱⋮σT1σT2...σ2]=σ2[1ρ12...ρ1Tρ211...ρ2T⋮⋮⋱⋮ρT1ρT2...1]=σ2Ω{\rm Var}(\boldsymbol{u})={\rm E}(\boldsymbol{uu'})=\left[ \begin{array}{cccc} \sigma^2 & \sigma_{12} & ... & \sigma_{1T} \\ \sigma_{21} & \sigma^2 & ... & \sigma_{2T} \\ \vdots & \vdots & \ddots & \vdots\\ \sigma_{T1} & \sigma_{T2} & ...& \sigma^2 \\ \end{array} \right] = \sigma^2 \left[ \begin{array}{cccc} 1 & \rho_{12} & ... & \rho_{1T} \\ \rho_{21} & 1 & ... & \rho_{2T} \\ \vdots & \vdots & \ddots & \vdots\\ \rho_{T1} & \rho_{T2} & ...& 1 \\ \end{array} \right] = \sigma^2\boldsymbol\Omega Var(u)=E(uu′)=⎣⎢⎢⎢⎡σ2σ21⋮σT1σ12σ2⋮σT2......⋱...σ1Tσ2T⋮σ2⎦⎥⎥⎥⎤=σ2⎣⎢⎢⎢⎡1ρ21⋮ρT1ρ121⋮ρT2......⋱...ρ1Tρ2T⋮1⎦⎥⎥⎥⎤=σ2Ω
序列相关性的产生原因
(1) 经济变量固有的惯性;
(2) 数据“编造”造成的相关;
(3) 模型设定偏误;
(4) 蛛网现象(农产品的供给);
(5) 变量之间的影响本身具有滞后效应。
序列相关性的后果
序列相关性和异方差均是模型出现了非球形扰动的现象,它们对 OLS 的影响也具有相似性。因为在序列相关性下的模型仍然满足零条件均值,如果再满足解释变量是严格外生条件时,OLS 估计值是无偏和一致的。这里的严格外生条件指的是:ttt 时期的误差项 utu_tut 与每个时期的任何解释变量都无关。这个条件比 MLR.4 的零条件均值要求更强。
和异方差类似,序列相关性下的 OLS 估计量不再是 BLUE,主要影响包括以下几点:
- 参数估计量非有效;
- ttt 值被高估,相应的 FFF 检验与可决系数检验也变得不可靠;
- 模型的预测失效。
序列相关性的检验方法
图示法
由于随机干扰项不可直接观测,可以用 OLS 残差 ete_tet 代替 utu_tut 。一般情况下我们可以绘制 ete_tet - et−1e_{t-1}et−1 散点图或绘制 ete_tet - ttt 散点图来判断序列相关性的趋势。
回归检验法
以 ete_tet 为被解释变量,以各种可能的 ete_tet 的相关量,如 et−1e_{t-1}et−1 ,et−2e_{t-2}et−2 等为解释变量建立回归方程:
et=ρet−1+εt,e_t = \rho e_{t-1} + \varepsilon_t \ , et=ρet−1+εt ,
et=ρ1et−1+ρ2et−2+εt,e_t = \rho_1 e_{t-1} + \rho_2e_{t-2} + \varepsilon_t \ , et=ρ1et−1+ρ2et−2+εt ,
如果存在某一种函数形式,使得方程显著成立,则说明原模型存在序列相关性。回归检验法的优点是一旦确定了模型存在序列相关性,即可得到其相关的形式,适用于任何类型的序列相关问题的检验。
DW{\rm DW}DW 检验法
DW{\rm DW}DW 检验是 Durbin 和 Watson 提出的一种适用于小样本的检验方法。DW{\rm DW}DW 检验只能用于检验随机误差项具有一阶自回归形式的自相关问题。这种检验方法是建立经济计量模型中最常用的方法,一般的计算机软件都可以计算出 DW{\rm DW}DW 值。
首先需要注意 DW{\rm DW}DW 检验的前提假定条件:
- 解释变量非随机;
- 随机误差项为 AR(1){\rm AR}(1)AR(1) 形式:ut=ρut−1+εtu_t=\rho u_{t-1}+\varepsilon_tut=ρut−1+εt ;
- 模型含有截距项且不含有滞后被解释变量,如 Yt−1Y_{t-1}Yt−1 。
满足以上条件,我们可以对随机干扰项进行 DW{\rm DW}DW 检验,首先提出原假设 H0:ρ=0H_0:\rho=0H0:ρ=0 ,即 utu_tut 不存在一阶自回归。为了检验上述假设,构造 DW{\rm DW}DW 统计量首先要求出回归估计式的残差 ete_tet ,然后我们定义 DW{\rm DW}DW 统计量:
DW=∑t=2T(et−et−1)2∑t=1Tet2≈2(1−ρ^){\rm DW}=\frac{\sum\limits_{t=2}^T(e_t-e_{t-1})^2}{\sum\limits_{t=1}^Te_t^2}\approx 2(1-\hat\rho) DW=t=1∑Tet2t=2∑T(et−et−1)2≈2(1−ρ^)
由上述讨论可知 DW{\rm DW}DW 的取值范围为:0≤DW≤40\leq{\rm DW}\leq40≤DW≤4 。根据样本容量 TTT 和不含常数项的解释变量的个数 kkk 查 DW{\rm DW}DW 分布表,得临界值 dLd_LdL 和 dUd_UdU ,然后依下列准则考察计算得到的DW值,以决定模型的自相关状态。
DW{\rm DW}DW 取值范围 | 检验决策规则 |
---|---|
0<DW<dL0<{\rm DW}<d_L0<DW<dL | 正自相关 |
dL<DW<dUd_L<{\rm DW}<d_UdL<DW<dU | 不能确定 |
dU<DW<4−dUd_U<{\rm DW}<4-d_UdU<DW<4−dU | 无自相关 |
4−dU<DW<4−dL4-d_U<{\rm DW}<4-d_L4−dU<DW<4−dL | 不能确定 |
4−dL<DW<44-d_L<{\rm DW}<44−dL<DW<4 | 负自相关 |
从判断准则中看到,存在两个不能确定的 DW{\rm DW}DW 值区域,这是 DW{\rm DW}DW 检验的一大缺陷。此外 DW{\rm DW}DW 检验只能检验一阶自相关,对存在高阶自相关和存在滞后被解释变量的模型无法检验。
拉格朗日乘数检验(LM 检验,BG 检验)
拉格朗日乘数检验克服了 DW{\rm DW}DW 检验的缺陷,适合于高阶序列相关及模型中存在滞后被解释变量的情形,由 Breusch 与 Godfrey 提出。
对于模型
Yt=β0+β1Xt1+β2Xt2+⋯+βkXtk+ut,Y_t=\beta_0+\beta_1X_{t1}+\beta_2X_{t2}+\cdots+\beta_kX_{tk}+u_t \ , Yt=β0+β1Xt1+β2Xt2+⋯+βkXtk+ut ,
如果怀疑随机扰动项是否存在 AR(p){\rm AR}(p)AR(p) 的情况:
ut=ρ1ut−1+ρ2ut−2++...+ρput−p+εt,u_t = \rho_1u_{t-1}+\rho_2u_{t-2}++...+\rho_pu_{t-p}+\varepsilon_t \ , ut=ρ1ut−1+ρ2ut−2++...+ρput−p+εt ,
可以利用拉格朗日乘数检验如下的受约束回归方程:
Yt=β0+β1Xt1+...+βkXtk+ρ1ut−1+ρ2ut−2++...+ρput−p+εt,Y_t = \beta_0+\beta_1X_{t1}+...+\beta_kX_{tk}+\rho_1u_{t-1}+\rho_2u_{t-2}++...+\rho_pu_{t-p}+\varepsilon_t \ , Yt=β0+β1Xt1+...+βkXtk+ρ1ut−1+ρ2ut−2++...+ρput−p+εt ,
约束条件为:
H0:ρ1=ρ2=...=ρp=0.H_0:\rho_1=\rho_2=...=\rho_p=0 \ . H0:ρ1=ρ2=...=ρp=0 .
根据 OLS 估计得到残差 ete_tet ,构造辅助回归得到可决系数 R2R^2R2
et=β0+β1Xt1+...+β1Xtk+ρ1et−1+ρ2et−2++...+ρpet−p+εt,e_t=\beta_0+\beta_1X_{t1}+...+\beta_1X_{tk}+\rho_1e_{t-1}+\rho_2e_{t-2}++...+\rho_pe_{t-p}+\varepsilon_t \ , et=β0+β1Xt1+...+β1Xtk+ρ1et−1+ρ2et−2++...+ρpet−p+εt ,
构造 LMLMLM 统计量,如果 H0H_0H0 为真,则 LMLMLM 统计量在大样本下渐进服从自由度为 ppp 的 χ2\chi^2χ2 分布:
LM=(T−p)R2∼χ2(p).LM=(T-p)R^2\sim\chi^2(p) \ . LM=(T−p)R2∼χ2(p) .
Ljung-Box 检验(Q 检验)
Ljung-Box 检验是一种可以检验高阶自相关的方法。检验是否存在 AR(m){\rm AR}(m)AR(m),提出原假设:
H0:ρ1=ρ2=...=ρm=0,H_0:\rho_1=\rho_2=...=\rho_m=0 \ , H0:ρ1=ρ2=...=ρm=0 ,
根据 OLS 估计得到残差 ete_tet ,构造 QLBQ_{LB}QLB 统计量:
Q(m)=T(T+2)∑j=1mρj^2T−j∼χ2(m),Q(m)=T(T+2)\sum_{j=1}^m\frac{\hat{\rho_j}^2}{T-j}\sim\chi^2(m) \ , Q(m)=T(T+2)j=1∑mT−jρj^2∼χ2(m) ,
其中 ρ^j\hat{\rho}_jρ^j 为 jjj 阶滞后的样本自相关系数:
ρ^j=γ^(j)γ^(0)=∑i=1T−jeiei+j∑i=1Tei2,\hat{\rho}_j=\frac{\hat\gamma(j)}{\hat\gamma(0)}=\frac{\sum\limits_{i=1}^{T-j}e_ie_{i+j}}{\sum\limits_{i=1}^Te_i^2} \ , ρ^j=γ^(0)γ^(j)=i=1∑Tei2i=1∑T−jeiei+j ,
γ^(j)=∑i=1T−jeiei+j.\hat\gamma(j) = \sum_{i=1}^{T-j}e_ie_{i+j} \ . γ^(j)=i=1∑T−jeiei+j .
其中滞后阶数 mmm 的选择会影响检验的效果,一般地取 m=ln(T)m=\ln(T)m=ln(T) 较好。
序列相关性的修正措施
广义最小二乘法 GLS
要求 Ω\boldsymbol\OmegaΩ 已知,假设模型存在非球形扰动,即存在自相关的同时存在异方差:
Var(u)=E(uuT)=[σ12σ12...σ1Tσ21σ22...σ2T⋮⋮⋱⋮σT1σT2...σT2]=σ2Ω.{\rm Var}(\boldsymbol{u})={\rm E}\left(\boldsymbol{u}\boldsymbol{u}^{\rm T}\right)=\left[ \begin{array}{cccc} \sigma_1^2 & \sigma_{12} & ... & \sigma_{1T} \\ \sigma_{21} & \sigma_2^2 & ... & \sigma_{2T} \\ \vdots & \vdots & \ddots & \vdots\\ \sigma_{T1} & \sigma_{T2} & ...& \sigma_T^2 \\ \end{array} \right] = \sigma^2\boldsymbol\Omega \ . Var(u)=E(uuT)=⎣⎢⎢⎢⎡σ12σ21⋮σT1σ12σ22⋮σT2......⋱...σ1Tσ2T⋮σT2⎦⎥⎥⎥⎤=σ2Ω .
类似于修正异方差的 WLS,Ω\boldsymbol\OmegaΩ 是一对称正定矩阵,有
β~=(x′Ω−1x)−1x′Ω−1y\tilde{\boldsymbol\beta} =(\boldsymbol{x'}\boldsymbol{\Omega}^{-1} \boldsymbol{x})^{-1}\boldsymbol{x'}\boldsymbol{\Omega}^{-1} \boldsymbol{y} β~=(x′Ω−1x)−1x′Ω−1y
即为原模型的 GLS 估计量, 是无偏且有效的估计量。
假设我们已知随机误差项满足 AR(1){\rm AR}(1)AR(1) 模型 ,这是一个 Ω\boldsymbol\OmegaΩ 已知的情况,但如何获取 Ω\boldsymbol\OmegaΩ 呢?
ut=ρut−1+εt,u_t=\rho u_{t-1}+\varepsilon_t \ , ut=ρut−1+εt ,
可以证明:
Var(u)=σε21−ρ2[1ρ...ρT−1ρ1...ρT−2⋮⋮⋱⋮ρT−1ρT−2...1]=σ2Ω.{\rm Var}(\boldsymbol{u})=\frac{\sigma_{\varepsilon}^2}{1-\rho^2} \left[ \begin{array}{cccc} 1 & \rho & ... & \rho^{T-1} \\ \rho & 1 & ... & \rho^{T-2} \\ \vdots & \vdots & \ddots & \vdots\\ \rho^{T-1} & \rho^{T-2} & ...& 1 \\ \end{array} \right] = \sigma^2\boldsymbol\Omega \ . Var(u)=1−ρ2σε2⎣⎢⎢⎢⎡1ρ⋮ρT−1ρ1⋮ρT−2......⋱...ρT−1ρT−2⋮1⎦⎥⎥⎥⎤=σ2Ω .
这里的 σ2=Var(ut)=σε21−ρ2\sigma^2={\rm Var}(u_t)=\dfrac{\sigma_\varepsilon^2}{1-\rho^2}σ2=Var(ut)=1−ρ2σε2 ,从而有
Ω−1=11−ρ2[1−ρ0...000−ρ1+ρ2−ρ...0000−ρ1+ρ2...000⋮⋮⋮⋱⋮⋮⋮000...1+ρ2−ρ0000...−ρ1+ρ2−ρ000...0−ρ1].\boldsymbol\Omega^{-1}=\frac{1}{1-\rho^2} \left[ \begin{array}{ccccccc} 1 & -\rho & 0 &... & 0 & 0 & 0 \\ -\rho & 1+\rho^2 & -\rho &... & 0 & 0 & 0 \\ 0 & -\rho & 1+\rho^2 &... & 0 & 0 & 0 \\ \vdots & \vdots & \vdots & \ddots & \vdots & \vdots & \vdots\\ 0 & 0 & 0 &... & 1+\rho^2 & -\rho & 0 \\ 0 & 0 & 0 &... & -\rho & 1+\rho^2 & -\rho \\ 0 & 0 & 0 &... & 0 & -\rho & 1 \\ \end{array} \right] \ . Ω−1=1−ρ21⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡1−ρ0⋮000−ρ1+ρ2−ρ⋮0000−ρ1+ρ2⋮000.........⋱.........000⋮1+ρ2−ρ0000⋮−ρ1+ρ2−ρ000⋮0−ρ1⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤ .
由此我们可以看到,如果已知随机误差项满足 AR(1){\rm AR}(1)AR(1) 模型 ,此时的 GLS 估计是可以直接计算的。
广义差分法 GD
广义差分法也适用于多元回归模型和高阶序列相关问题,但要求 ρ\rhoρ 已知。我们以 AR(1){\rm AR}(1)AR(1) 的一元线性回归模型为例:
yt=β0+β1xt+ut,y_t=\beta_0+\beta_1x_t+u_t \ , yt=β0+β1xt+ut ,
ut=ρut−1+εt,u_t=\rho u_{t-1}+\varepsilon_t \ , ut=ρut−1+εt ,
写出滞后一期的模型:
yt−1=β0+β1xt−1+ut−1,y_{t-1}=\beta_0+\beta_1x_{t-1}+u_{t-1} \ , yt−1=β0+β1xt−1+ut−1 ,
做广义差分操作:
yt−ρyt−1=β0(1−ρ)+β1(xt−ρxt−1)+εt,y_t-\rho y_{t-1}=\beta_0(1-\rho)+\beta_1(x_t-\rho x_{t-1})+\varepsilon_t \ , yt−ρyt−1=β0(1−ρ)+β1(xt−ρxt−1)+εt ,
yt∗=β0(1−ρ)+β1xt∗+εty^*_t=\beta_0(1-\rho)+\beta_1x^*_t+\varepsilon_t yt∗=β0(1−ρ)+β1xt∗+εt
其中 εt\varepsilon_tεt 满足 MLR.1 - MLR.5,可以进行 OLS 估计得到 BLUE 的估计量,
但第一个观测值由于差分而丢失,需要通过普莱斯-温斯特(Praise and Winsten)变换补齐
y1∗=1−ρ2y1,x1∗=1−ρ2x1.y_1^*=\sqrt{1-\rho^2}y_1, \ \ x_1^*=\sqrt{1-\rho^2}x_1 \ . y1∗=1−ρ2y1, x1∗=1−ρ2x1 .
若存在高阶序列相关:
ut=ρ1ut−1+ρ2ut−2++...+ρput−p+εt,u_t = \rho_1u_{t-1}+\rho_2u_{t-2}++...+\rho_pu_{t-p}+\varepsilon_t \ , ut=ρ1ut−1+ρ2ut−2++...+ρput−p+εt ,
则广义差分模型为
yt−ρ1yt−1...−ρpyt−p=β0(1−ρ1−...−ρp)+β1(xt1−ρ1xt−1,1−...−ρpxt−p,1)+...+βk(xtk−ρ1xt−1,k−...−ρpxt−p,k)+εt.\begin{aligned} y_t-\rho_1y_{t-1}...-\rho_py_{t-p}&=\beta_0(1-\rho_1-...-\rho_p)+\beta_1(x_{t1}-\rho_1x_{t-1,1}-...-\rho_px_{t-p,1})+...\\& \ \ \ \ +\beta_k(x_{tk}-\rho_1x_{t-1,k}-...-\rho_px_{t-p,k})+\varepsilon_t \ . \end{aligned} yt−ρ1yt−1...−ρpyt−p=β0(1−ρ1−...−ρp)+β1(xt1−ρ1xt−1,1−...−ρpxt−p,1)+... +βk(xtk−ρ1xt−1,k−...−ρpxt−p,k)+εt .
差分后的模型不存在序列相关问题,可以进行 OLS 估计。
可行的广义最小二乘法 FGLS
适用于 Ω\boldsymbol\OmegaΩ 未知时的情况。如果我们认为随机误差项存在一阶自相关问题,我们只需要计算出 ρ^\hat\rhoρ^ 就可以求出 Ω\boldsymbol\OmegaΩ 。主要有两种方式对 ρ\rhoρ 进行估计:
- DW{\rm DW}DW 推算
ρ^=1−DW2.\hat\rho=1-\frac{DW}{2} \ . ρ^=1−2DW .
- OLS 估计
et=ρ^et−1+εt,e_t = \hat\rho e_{t-1}+\varepsilon_t \ , et=ρ^et−1+εt ,
但我们需要注意,以上两种方法仅适用于 AR(1){\rm AR}(1)AR(1) ,是粗略的精度不高的估计。
杜宾两步法
如果我们认为随机误差项存在高阶自相关问题,我们可以先利用广义差分,将被解释变量的滞后项作为解释变量进行 OLS 回归,估计出自相关系数,然后再反解出 OLS 估计量。这种方法被称为杜宾两步法。
我们还是以 AR(1){\rm AR}(1)AR(1) 为例,高阶自相关同理,首先写出广义差分模型:
yt−ρyt−1=β0(1−ρ)+β1(xt−ρxt−1)+εt,y_t-\rho y_{t-1}=\beta_0(1-\rho)+\beta_1(x_t-\rho x_{t-1})+\varepsilon_t \ , yt−ρyt−1=β0(1−ρ)+β1(xt−ρxt−1)+εt ,
将差分模型作移项变换:
yt=β0(1−ρ)+ρyt−1+β1(xt−ρxt−1)+εt,y_t=\beta_0(1-\rho)+\rho y_{t-1}+\beta_1(x_t-\rho x_{t-1})+\varepsilon_t \ , yt=β0(1−ρ)+ρyt−1+β1(xt−ρxt−1)+εt ,
利用 OLS 估计得到 ρ^\hat\rhoρ^ 即为 yt−1y_{t-1}yt−1 的系数,代入原差分方程系数对应,即可解出相应的 OLS 估计。
yt∗=β0∗+β1∗xt∗+εt,y^*_t=\beta_0^*+\beta_1^*x^*_t+\varepsilon_t \ , yt∗=β0∗+β1∗xt∗+εt ,
β^0=β^0∗1−ρ^,β^1=β^1∗.\hat{\beta}_0=\frac{\hat{\beta}_0^*}{1-\hat\rho}\ , \ \ \ \ \hat{\beta}_1=\hat{\beta}_1^* \ . β^0=1−ρ^β^0∗ , β^1=β^1∗ .
科克伦-奥科特迭代法
一般的统计软件会带有 Cochrane & Orcutt 迭代法的工具包。同样以 AR(1){\rm AR}(1)AR(1) 为例,
step.1 使用 OLS 估计获得残差 et(1)e_t^{(1)}et(1) :
yt=β0+β1xt+ut,y_t=\beta_0+\beta_1x_t+u_t \ , yt=β0+β1xt+ut ,
step.2 利用 et(1)e_t^{(1)}et(1) 做如下回归并获得 ρ^(1)\hat\rho^{(1)}ρ^(1) :
et(1)=ρet−1(1)+εt,e_t^{(1)}=\rho e_{t-1}^{(1)}+\varepsilon_t \ , et(1)=ρet−1(1)+εt ,
step.3 利用 ρ^(1)\hat\rho^{(1)}ρ^(1) 对模型进行差分:
yt−ρ^(1)yt−1=β0(1−ρ^(1))+β1(xt−ρ^(1)xt−1)+εt,y_t-\hat\rho^{(1)} y_{t-1}=\beta_0(1-\hat\rho^{(1)})+\beta_1(x_t-\hat\rho^{(1)} x_{t-1})+\varepsilon_t \ , yt−ρ^(1)yt−1=β0(1−ρ^(1))+β1(xt−ρ^(1)xt−1)+εt ,
对差分模型进行 OLS 估计得到 β^0∗\hat{\beta}_0^*β^0∗ 和 β^1∗\hat{\beta}_1^*β^1∗ 。
step.4 由前一步估计的结果有:
β^0=β^0∗1−ρ^,β^1=β^1∗,\hat{\beta}_0=\frac{\hat{\beta}_0^*}{1-\hat\rho}\ , \ \ \ \ \hat{\beta}_1=\hat{\beta}_1^* \ , β^0=1−ρ^β^0∗ , β^1=β^1∗ ,
代入原回归方程得到新的残差 et(2)e_t^{(2)}et(2) :
et(2)=yt−β0^−β1^xt.e_t^{(2)}=y_t-\hat{\beta_0}-\hat{\beta_1}x_t \ . et(2)=yt−β0^−β1^xt .
step 5. 利用 et(2)e_t^{(2)}et(2) 做如下回归并获得 ρ^(2)\hat\rho^{(2)}ρ^(2),即为 ρ\rhoρ 的第二轮估计值:
et(2)=ρet−1(2)+εt.e_t^{(2)}=\rho e_{t-1}^{(2)}+\varepsilon_t \ . et(2)=ρet−1(2)+εt .
依次迭代,当估计的 ρ^(k)\hat\rho^{(k)}ρ^(k) 与 ρ^(k+1)\hat\rho^{(k+1)}ρ^(k+1) 相差很小时,就找到了 ρ\rhoρ 的最佳估计值。
可以设定一个停止条件,比如看 DW{\rm DW}DW 值。也可以事先设置一个精度,当相邻两次迭代的估计值之差小于这一精度时迭代终止。