UA MATH566 統(tǒng)計(jì)理論 Bayes統(tǒng)計(jì)基礎(chǔ)

• 共軛分布
• • 基于后驗(yàn)概率預(yù)測(cè)新的觀測(cè)值

Bayes統(tǒng)計(jì)思想的基礎(chǔ)是Bayes公式
$$P(C_i|A)=\frac{P(A,C_i)}{P(A)}=\frac{P(A|C_i)P(C_i)}{{\sum }_{i=1}^{n}P(A|C_i)P(C_i)}$$

其中$P(C_i)$是先驗(yàn)概率，$P(A|C_i)$是似然，$P(C_i|A)$是后驗(yàn)概率。頻率派統(tǒng)計(jì)關(guān)注的焦點(diǎn)是似然函數(shù)（樣本信息），貝葉斯學(xué)派則使用似然函數(shù)（樣本信息）與先驗(yàn)概率（先驗(yàn)信息）。

假設(shè)隨機(jī)變量為$X$，定義在概率空間$(\Omega ,\mathcal{F},P_{\theta })$上，$f(x,\theta )$是概率$P_{\theta }$的密度函數(shù)。貝葉斯統(tǒng)計(jì)認(rèn)為$\theta$也是一個(gè)隨機(jī)變量，定義在參數(shù)空間$\Theta$上，概率密度為$\pi (\theta )$，即先驗(yàn)密度。根據(jù)貝葉斯公式，給定一組樣本$\text{X}$，參數(shù)的后驗(yàn)密度為
$$\pi (\theta |\text{X})=\frac{f(\text{X},\theta )}{f(\text{X})}=\frac{{\prod }_{i=1}^{n}f(x_i|\theta )\pi (\theta )}{{\int }_{\Theta }{\prod }_{i=1}^{n}f(x_i|\theta )\pi (\theta )d\theta }$$

基于后驗(yàn)密度可以計(jì)算后驗(yàn)風(fēng)險(xiǎn)（參考UA MATH574M 統(tǒng)計(jì)學(xué)習(xí)I 監(jiān)督學(xué)習(xí)理論），然后做一些統(tǒng)計(jì)決策。比如使用平方損失，后驗(yàn)均值就是參數(shù)的Bayes估計(jì)；使用絕對(duì)值損失，后驗(yàn)中位數(shù)就是參數(shù)的Bayes估計(jì)。后驗(yàn)密度的含義就是給定樣本時(shí)參數(shù)的密度函數(shù)，因此用后驗(yàn)密度的分位點(diǎn)就可以構(gòu)成參數(shù)的置信區(qū)間，何種置信區(qū)間叫做可信區(qū)間（Credible Intervals）。后驗(yàn)密度中與參數(shù)有關(guān)的部分被稱為后驗(yàn)核（kernel），大部分分布憑核就可以識(shí)別出來(lái)，比如

分布核

$N(\mu ,{\sigma }^2)$	$exp(?\frac{1}{2{\sigma }^2}(x?\mu {)}^2)$
$\Gamma (\alpha ,\lambda )$	$x^{\alpha ?1}{e}^{?\lambda x}$
$Beta(\alpha ,\beta )$	$x^{\alpha ?1}(1?x{)}^{\beta ?1}$

例1 假設(shè)$Ber(p)$中$p～Beta(\alpha ,\beta )$，則
$$\pi (p|\text{X})\propto p^{{\sum }_{i=1}^n{X}_i}(1?p{)}^{n?{\sum }_{i=1}^n{X}_i}{p}^{\alpha ?1}(1?p{)}^{\beta ?1}=p^{{\sum }_{i=1}^n{X}_i+\alpha ?1}(1?p{)}^{n?{\sum }_{i=1}^n{X}_i+\beta ?1}$$

這說(shuō)明$p|\text{X}～Beta({\sum }_{i=1}^n{X}_i+\alpha ,n?{\sum }_{i=1}^n{X}_i+\beta )$

例2 假設(shè)多元分布$(1;p_1,?,p_r)$中$(p_1,?,p_r)～Dir({\alpha }_1,?,{\alpha }_r)$，則
$$\pi (p_1,?,p_r|\text{X})\propto \prod _{i=1}^r{p}_i^{{\sum }_{i=1}^n{X}_i}\prod _{i=1}^r{p}_i^{{\alpha }_i?1}=\prod _{i=1}^r{p}_i^{{\sum }_{i=1}^n{X}_i+\alpha ?1}$$

這說(shuō)明$(p_1,?,p_r)|\text{X}～Dir({\sum }_{i=1}^n{X}_1+{\alpha }_1,?,{\sum }_{i=1}^n{X}_r+{\alpha }_r)$，其中$X_1,?,X_r$都是Bernoulli變量。

共軛分布

上面的兩個(gè)例子有一個(gè)很重要的性質(zhì)，先驗(yàn)分布與后驗(yàn)分布都是beta分布，我們稱這種先驗(yàn)分布與后驗(yàn)分布相同時(shí)的分布為共軛分布族，更準(zhǔn)確一點(diǎn)，稱Beta分布是$Ber(p)$的共軛分布族，從先驗(yàn)到后驗(yàn)的參數(shù)變換規(guī)則是
$$Beta(\alpha ,\beta )\to Beta(\sum _{i=1}^n{X}_i+\alpha ,n?\sum _{i=1}^n{X}_i+\beta )$$

下面列出了一些典型的共軛分布族的表：

統(tǒng)計(jì)模型共軛分布族的參數(shù)變換

$Ber(p)$	$Beta(\alpha ,\beta )\to Beta({\sum }_{i=1}^n{X}_i+\alpha ,n?{\sum }_{i=1}^n{X}_i+\beta )$
$N(\theta ,{\sigma }_0^2)$，${\sigma }_0^2$已知	$N({\theta }_1,\frac{1}{{\lambda }_0})\to N(\frac{{\lambda }_0{\theta }_1+(n/{\sigma }_0^2)\bar{X}}{{\lambda }_0+n/{\sigma }_0^2},\frac{{\sigma }_0^2}{n+{\lambda }_0{\sigma }_0^2})$
$Pois(\lambda )$	$\Gamma (\alpha ,\beta )\to \Gamma (\alpha +{\sum }_{i=1}^n{X}_i,\beta +n)$

基于后驗(yàn)概率預(yù)測(cè)新的觀測(cè)值

基于樣本$\text{X}=\{X_1,?,X_n\}$預(yù)測(cè)新的觀測(cè)值$X_{?}$，只需要根據(jù)下面的公式就可以計(jì)算出新觀測(cè)值的分布：
$$f_{X_{?}|\text{X}}(x_{?})={\int }_{\Theta }f(x_{?}|\theta )\pi (\theta |\text{X})d\theta$$

下面列出了上表共軛分布族的新觀測(cè)值分布：

統(tǒng)計(jì)模型共軛分布族新觀測(cè)值的分布

$Ber(p)$	$Ber(\frac{\beta +n?{\sum }_{i=1}^n{X}_i}{\alpha +\beta +n})$
$N(\theta ,{\sigma }_0^2)$，${\sigma }_0^2$已知	$N(\frac{{\lambda }_0{\theta }_1+(n/{\sigma }_0^2)\bar{X}}{{\lambda }_0+n/{\sigma }_0^2},\frac{{\sigma }_0^2}{n+{\lambda }_0{\sigma }_0^2}+\frac{1}{{\lambda }_0})$
$Pois(\lambda )$	$Negbin({\sum }_{i=1}^n{X}_i+\alpha ,\frac{1}{n+\beta +1})$

第三個(gè)結(jié)果是比較意外的，在共軛分布下，新觀測(cè)服從負(fù)二項(xiàng)分布而不是原來(lái)的Poisson分布，這里給一個(gè)簡(jiǎn)單的推導(dǎo)：
$$\begin{gathered} f_{X_{?}|\text{X}}(x_{?})={\int }_{\Theta }f(x_{?}|\theta )\pi (\theta |\text{X})d\theta \\ ={\int }_0^{\infty }\frac{{\lambda }^{X_{?}}}{X_{?}!}{e}^{?\lambda }\frac{{\lambda }^{\alpha +{\sum }_{i=1}^n{X}_i?1}(\beta +n{)}^{\alpha +{\sum }_{i=1}^n{X}_i}}{\Gamma (\alpha +{\sum }_{i=1}^n{X}_i)}{e}^{?(\alpha +{\sum }_{i=1}^n{X}_i)\lambda }d\lambda \\ =\frac{(\beta +n{)}^{\alpha +{\sum }_{i=1}^n{X}_i}}{\Gamma (\alpha +{\sum }_{i=1}^n{X}_i)X_{?}!}{\int }_0^{\infty }{\lambda }^{{\sum }_{i=1}^n{X}_i+\alpha +X_{?}?1}{e}^{?(n+\beta +1)\lambda }d\lambda \\ =\frac{(\beta +n{)}^{\alpha +{\sum }_{i=1}^n{X}_i}}{\Gamma (\alpha +{\sum }_{i=1}^n{X}_i)X_{?}!}\frac{\Gamma (\alpha +{\sum }_{i=1}^n{X}_i+X_{?})}{(n+\beta +1{)}^{{\sum }_{i=1}^n{X}_i+\alpha +X_{?}}} \\ =C_{{\sum }_{i=1}^n{X}_i+\alpha +X_{?}?1}^{{\sum }_{i=1}^n{X}_i+\alpha }{\left(\frac{n+\beta }{n+\beta +1}\right)}^{n+{\sum }_{i=1}^n{X}_i}{\left(\frac{1}{n+\beta +1}\right)}^{X_{?}} \end{gathered}$$

總結(jié)

以上是生活随笔為你收集整理的UA MATH566 统计理论 Bayes统计基础的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。