UA MATH571A 多元線性回歸V 自相關(guān)與非線性模型簡介

• 一階誤差自相關(guān)模型
• • Durbin-Watson檢驗
  • 一階自相關(guān)的消去
  • • Cochrane-Orcutt方法
    • Hildreth-Lu方法
• 非線性回歸及其最小二乘估計
• 神經(jīng)網(wǎng)絡簡介
• • Penalized Least Square

一階誤差自相關(guān)模型

時間序列數(shù)據(jù)誤差項可能存在自相關(guān)，比較簡單的處理方法是假設誤差項服從一階自相關(guān)模型（First-order Auto-correlation Error Model）。假設$Y_t,t=1,2...,T$表示被解釋變量的時間序列數(shù)據(jù)，$X_t$表示常數(shù)項以及$p?1$個被解釋變量的時間序列數(shù)據(jù)
$$\begin{gathered} Y_t=X_t\beta +{?}_t \\ {?}_t=\rho {?}_{t?1}+u_t \end{gathered}$$
其中參數(shù)$\rho$需要滿足$|\rho |<1$以保證平穩(wěn)性，另外$u_t～N(0,{\sigma }^2)$，且$Cov(u_t,u_s)=0,t=s$。誤差項具有如下性質(zhì)

$E({?}_t)=0$

$Var({?}_t)=\frac{{\sigma }^2}{1?{\rho }^2}$

$Cov({?}_t,{?}_{t?s})={\rho }^s(\frac{{\sigma }^2}{1?{\rho }^2})$

$Corr({?}_t,{?}_{t?s})={\rho }^s$

假設誤差項同分布，則
$$E({?}_t)=\rho E({?}_{t?1})+0?E({?}_t)=0,?t$$
$$Var({?}_t)={\rho }^{2}Var({?}_{t?1})+{\sigma }^2?Var({?}_t)=\frac{{\sigma }^2}{1?{\rho }^2},?t$$
根據(jù)誤差項的遞推關(guān)系
$$\begin{gathered} {?}_t=\rho (\rho {?}_{t?2}+u_{t?1})+u_t={\rho }^2{?}_{t?2}+(u_t+\rho u_{t?1}) \\ =...={\rho }^s{?}_{t?s}+\sum _{j=0}^{s?1}{\rho }^j{u}_{t?j} \end{gathered}$$
$$Cov({?}_t,{?}_{t?s})={\rho }^{s}Var(?),Corr({?}_t,{?}_{t?s})={\rho }^s$$

Durbin-Watson檢驗

在使用一階誤差自相關(guān)模型之前，要先驗證誤差項的一階自相關(guān)關(guān)系是否顯著，Durbin-Watson檢驗（簡稱DW檢驗）可以達到這個目的。
$$\begin{gathered} H_0:\rho =0 \\ {H}_a:\rho >0 \end{gathered}$$
首先擬合多元回歸模型并計算殘差$e_t,t=1,2,...,T$，然后計算DW統(tǒng)計量
$$DW=\frac{{\sum }_{t=2}^T(e_t?e_{t?1}{)}^2}{{\sum }_{t=1}^T{e}_t^2}$$
這個統(tǒng)計量的精確分布難以獲得，但Durbin和Watson給出了它的上界$d_U$和下界$d_L$。若$DW>d_U$，接受原假設；若$DW<d_L$，接受備擇假設；其他情況無法下結(jié)論。

一階自相關(guān)的消去

一階誤差自相關(guān)模型可以看成是一個比較簡單的兩層模型，多元回歸是測量方程，誤差的一階自回歸是狀態(tài)方程。盡管如此，這個模型還是不夠直觀，因此在確定誤差項存在一階自回歸后可以采取一些變換使得變換后的模型是線性回歸。若誤差項存在一階自回歸，則被解釋變量也會存在一階自回歸。定義
$$Y_t^{?}=Y_t?\rho Y_{t?1},X_t^{?}=X_t?\rho X_{t?1}$$
根據(jù)一階自相關(guān)誤差模型，
$$\begin{gathered} Y_t^{?}=Y_t?\rho Y_{t?1}=X_t\beta +{?}_t?\rho (X_{t?1}\beta +{?}_{t?1}) \\ =(X_t?\rho X_{t?1})\beta +({?}_t?\rho {?}_{t?1})=X_t^{?}\beta +u_t \end{gathered}$$
這樣就實現(xiàn)了將兩層的線性模型化為多元線性回歸。然而這個方法需要已知$\rho$，或者先給出$\rho$的估計量。以下給出三種具體的操作方法。

Cochrane-Orcutt方法

先直接擬合多元線性回歸$Y_t=X_t\beta +{?}_t$得到殘差$e_t$，按估計相關(guān)性系數(shù)的方法估計$rho$，假設估計量為$r$
$$r=\frac{{\sum }_{t=2}^T{e}_t{e}_{t?1}}{{\sum }_{t=2}^T{e}_{t?1}^2}$$
用這個估計量對數(shù)據(jù)做變換，并估計回歸模型$Y_t^{?}=X_t^{?}\beta +u_t$。需要注意的是，還需要對這個回歸殘差做Durbin-Watson檢驗，如果這個變換后的回歸模型誤差項是否還有自相關(guān)，如果還存在自相關(guān)，就再做一個這個操作。

Hildreth-Lu方法

假設系數(shù)的估計量為$\hat{\beta }$，則模型的SSE為
$$SSE=\sum _{t=1}^T(Y_t^{?}?{\hat{Y}}_t^{?}{)}^2$$
Hildreth-Lu方法和之前說過的Box-Cox找$\lambda$類似。因為SSE中數(shù)據(jù)的變換與系數(shù)估計量$\hat{\beta }$都取決于$\rho$，因此可以使用一些搜尋算法找使得SSE最小的$\rho$的值作為其估計量。

非線性回歸及其最小二乘估計

假設回歸方程為
$$Y_i=f(X_i,\gamma )+{?}_i$$
其中$\gamma$是回歸系數(shù)，如果$f$關(guān)于$\gamma$是線性函數(shù)，則模型是線性回歸；如果$f$關(guān)于$\gamma$是非線性函數(shù)，則模型是非線性回歸。系數(shù)$\gamma$的估計可以采用最小二乘法
$$\underset{\gamma }{\min }Q=\sum _{i=1}^N(Y_i?f(X_i,\gamma ))$$
求解這個最優(yōu)化可以得到系數(shù)的最小二乘估計量，能否找到解析解完全取決于$f$的形式，但大多數(shù)時候都只能用數(shù)值方法求解。比較常用的是Gauss-Newton算法、最速下降法以及Marquardt算法等。

神經(jīng)網(wǎng)絡簡介

這里介紹一下兩層前饋神經(jīng)網(wǎng)絡（one-hidden-layer，feedforward NN）。$H_i\in {\mathbb{R}}^m,i=1,2,...,N$表示derived predictors，$f$是非線性函數(shù)，
$$Y_i=f(H_i\beta )+{?}_i$$
其中$H_i$由被解釋變量決定，定義$H_{i0}=1$
$$H_{ij}=g_j(X_i{\alpha }_j),j=1,2,...,m?1$$
其中$g_j$是激活函數(shù)。在這個模型中，假設激活函數(shù)為$g_j(z)=z$，則模型退化為非線性回歸；若進一步假設$f$是線性函數(shù)，則模型退化為線性回歸。

Penalized Least Square

上述模型中的參數(shù)為$\beta$與$\alpha$，共有$m+(m?1)p$個參數(shù)需要估計，相比多元線性回歸的p個而言算是相當多了。如果樣本數(shù)量無法保證$N>>m+(m?1)p$，就需要注意以下模型是否會過擬合（over fit）。通常處理方法是在最小二乘的基礎(chǔ)上加一個懲罰項（penalty）：
$$\underset{\beta ,\alpha }{\min }Q=\sum _{i=1}^N[Y_i?f(g(X\alpha )\beta ){]}^2+p_{\lambda }(\alpha ,\beta )$$
$$p_{\lambda }(\alpha ,\beta )=\lambda (||\beta |{|}_2^2+||\alpha |{|}_2^2)$$
參數(shù)$\lambda$的作用是在過擬合與欠擬合（under fit）之間作一個trade-off，如果$\lambda$取得太小，懲罰項就沒什么意義，同樣可能過擬合；如果$\lambda$取得太大，殘差項沒什么意義，相當于只是在一味地限制系數(shù)的大小而不去考慮擬合得好不好，這樣就會欠擬合。

總結(jié)

以上是生活随笔為你收集整理的UA MATH571A 多元线性回归V 自相关与非线性模型简介的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。