UA MATH567 高維統(tǒng)計(jì) 專(zhuān)題1 Supervised PCA Regression概述

• • 相關(guān)結(jié)果
  • Supervised PCA Regression

相關(guān)結(jié)果

考慮經(jīng)典的回歸問(wèn)題$y=X\beta +?,X\in {\mathbb{R}}^p,?～N(0,{\sigma }^2{I}_n)$，根據(jù)Gauss-Markov定理，在滿(mǎn)足定理的假設(shè)時(shí)，OLS估計(jì)量具有非常好的漸近性質(zhì)，但是當(dāng)$p$與$n$非常接近或者模型存在比較強(qiáng)的多重共線性時(shí)，OLS是nonstable估計(jì)。

PCA Regression是一種改進(jìn)OLS不穩(wěn)定性的模型，它分為下面幾個(gè)步驟：

計(jì)算$X$的principle component（PC），選擇前幾個(gè)主成分作為新的regressor

用新的regressor做OLS

PCA方法使得PC互相正交，這樣新的OLS就沒(méi)有多重共線性的；OLS的另一種不穩(wěn)定性主要來(lái)自$(X^{T}X{)}^{?1}$的計(jì)算，但因?yàn)檎恍?#xff0c;PC的這一步計(jì)算只需要計(jì)算對(duì)角陣的逆，所以從計(jì)算上講PCA Regression更穩(wěn)定。PCA Regression的缺陷是PCA是非監(jiān)督學(xué)習(xí)，是對(duì)特征$X$進(jìn)行降維的；而我們最終目標(biāo)是要用$X$對(duì)$Y$回歸，這是一種監(jiān)督學(xué)習(xí)，直接把這兩步串起來(lái)我們沒(méi)有辦法確保特征$X$的PC與$Y$之間的dependence與$X$與$Y$之間的dependence仍然是完全一致的。

另一種改進(jìn)多重共線性的方法是Penalized Regression，比如Ridge Regression：
$$\underset{\beta }{\mathrm{argmin}}\frac{1}{n}\sum _{i=1}^n(y_i?x_i^T\beta {)}^2+\lambda {\Vert \beta \Vert }_2^2$$

這個(gè)方法的優(yōu)點(diǎn)是我們能拿到嶺回歸估計(jì)量的表達(dá)式，
$${\hat{\beta }}_{ridge}=(X^{T}X/n+\lambda I{)}^{?1}{X}^{T}y$$

即使$p$與$n$接近，因?yàn)?span id="vt6mr5x" class="katex--inline">$\lambda I$的存在，計(jì)算矩陣的逆時(shí)也不會(huì)不穩(wěn)定（不會(huì)是non-singular矩陣）；需要注意的是嶺回歸是有偏的，它只能做proportional shrinkage，不能處理sparsity的問(wèn)題。作為另一種常用的shrinkage estimation，LASSO可以把一些系數(shù)shrink到0，因此它能處理sparsity。
$$\underset{\beta }{\mathrm{argmin}}\frac{1}{n}\sum _{i=1}^n(y_i?x_i^T\beta {)}^2+\lambda {\Vert \beta \Vert }_1$$

它在計(jì)算上比嶺回歸更復(fù)雜，但這二十年來(lái)，統(tǒng)計(jì)學(xué)家開(kāi)發(fā)了許多用來(lái)計(jì)算LASSO，所以現(xiàn)在已經(jīng)不是個(gè)問(wèn)題了。關(guān)于sparsity，通常用的假設(shè)是$|\{j:{\beta }_j=0\}|<<p$，但是如果$p>n$，并且沒(méi)有sparsity，那就沒(méi)有能處理的方法了。

Supervised PCA Regression

綜合PCA Regression與Penalized Regression的特點(diǎn)，我們可以設(shè)計(jì)Supervised PCA Regression，假設(shè)$X$是centered design matrix，引入$\hat{\Sigma }=X^{T}X/n$，$\hat{\delta }=X^{T}y/n$，定義
$${\hat{\Sigma }}_{\rho }=\hat{\Sigma }+\rho \hat{\delta }{\hat{\delta }}^T$$

這個(gè)值形式上與樣本協(xié)方差類(lèi)似，但他包含了feature與label共同的信息，我們提取它的主成分，然后用來(lái)做PCA，這就是Supervised PCA Regression。如果$\rho \to 0$，這就是一個(gè)PCA regression，如果$\rho \to \infty$，這就是一個(gè)marginal regression。Marginal Regression的含義是分別對(duì)每一個(gè)feature做一元回歸：
$$\begin{gathered} y_1=x_1{\beta }_1+{?}_1 \\ {y}_2=x_2{\beta }_2+{?}_2 \\ ? \\ {y}_p=x_p{\beta }_p+{?}_p \end{gathered}$$

這種模型在variable screening中有一些應(yīng)用，并且在需要初值的迭代算法中可以作為系數(shù)的初始值。

下面我們?cè)俳榻B一些Supervised PCA Regression的特點(diǎn)。假設(shè)
$$\Sigma =E{X}^{T}X,\delta =E{X}^{T}y$$

則
$$\beta ={\Sigma }^{?1}\delta$$

如果$\Sigma$的特征值為${\lambda }_1\ge ?\ge {\lambda }_k>{\lambda }_{k+1}=?={\lambda }_d$，那么做譜分解
$$\Sigma =\sum _{i=1}^k({\lambda }_i?{\lambda }_d){\xi }_i{\xi }_i^T+{\lambda }_d{I}_d$$

根據(jù)${\Sigma }^{?1}\Sigma =I_d$，我們可以得到$?a_i,a_0$，
$${\Sigma }^{?1}=\sum _{i=1}^k{a}_i{\xi }_i{\xi }_i^T+a_0{I}_d$$

于是
$$\beta ={\Sigma }^{?1}\delta =\sum _{i=1}^k{a}_i({\xi }_i^T\delta ){\xi }_i+{\lambda }_d\delta \in span({\xi }_1,?,{\xi }_k,\delta )$$

而${\Sigma }_{\rho }=\Sigma +\rho \delta {\delta }^T$的前$k+1$個(gè)主成分張成的子空間就是$span({\xi }_1,?,{\xi }_k,\delta )$，這說(shuō)明用${\Sigma }_{\rho }$的前$k+1$個(gè)主成分對(duì)特征空間進(jìn)行降維是不存在信息損失的。而Davis-Kahan定理又能保證${\hat{\Sigma }}_{\rho }$與${\Sigma }_{\rho }$是足夠接近的，所以在以上的理論分析支撐下，我們可以認(rèn)可Supervised PCA Regression。但關(guān)于這個(gè)模型的統(tǒng)計(jì)理論還有一些問(wèn)題需要解決：

Supervised PCA Regression系數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)；

關(guān)于特征值的假設(shè)${\lambda }_1\ge ?\ge {\lambda }_k>{\lambda }_{k+1}=?={\lambda }_d$，如果不成立是否還有降維沒(méi)有信息損失的性質(zhì)？

總結(jié)

以上是生活随笔為你收集整理的UA MATH567 高维统计 专题1 Supervised PCA Regression概述的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。