生物信息學(xué)習(xí)的正確姿勢(shì)

NGS系列文章包括NGS基礎(chǔ)、在線繪圖、轉(zhuǎn)錄組分析?（Nature重磅綜述|關(guān)于RNA-seq你想知道的全在這）、ChIP-seq分析?（ChIP-seq基本分析流程）、單細(xì)胞測(cè)序分析?(重磅綜述：三萬(wàn)字長(zhǎng)文讀懂單細(xì)胞RNA測(cè)序分析的最佳實(shí)踐教程)、DNA甲基化分析、重測(cè)序分析、GEO數(shù)據(jù)挖掘（典型醫(yī)學(xué)設(shè)計(jì)實(shí)驗(yàn)GEO數(shù)據(jù)分析 (step-by-step)）、批次效應(yīng)處理等內(nèi)容。

單次檢驗(yàn)的I類(lèi)錯(cuò)誤

假設(shè)檢驗(yàn)是用于檢驗(yàn)統(tǒng)計(jì)假設(shè)的一種方法，其基本思想是“小概率事件”原理，即小概率事件在一次試驗(yàn)中基本上不會(huì)發(fā)生。

假設(shè)檢驗(yàn)的基本方法是提出一個(gè)空假設(shè)（null hypothesis），也叫做原假設(shè)或無(wú)效假設(shè)，符號(hào)是H0。一次檢驗(yàn)有四種可能的結(jié)果，用下面的表格表示：

• Type I error，I類(lèi)錯(cuò)誤，也叫做α錯(cuò)誤，假陽(yáng)性。

• Type II error，II類(lèi)錯(cuò)誤，也叫做β錯(cuò)誤，假陰性。

可以通過(guò)下面這張圖形象的看到差異。

多次檢驗(yàn)使得犯I類(lèi)錯(cuò)誤概率增大

在傳統(tǒng)的假設(shè)檢驗(yàn)中，單個(gè)檢驗(yàn)的顯著性水平或I型錯(cuò)誤率 (錯(cuò)誤拒絕原假設(shè)的概率)為計(jì)算出的P-value。但隨著檢驗(yàn)次數(shù)的增加，錯(cuò)誤拒絕原假設(shè)的概率即I型錯(cuò)誤率大大增加。

例如：如果我們進(jìn)行了m次假設(shè)檢驗(yàn)，至少有1個(gè)假陽(yáng)性的概率是多少？

錯(cuò)誤拒絕原假設(shè)的概率 P(Reject H0|H0=True) = α

決策正確的概率 P(No Reject H0|H0=True) = 1-α

P(在m次檢驗(yàn)全部決策正確)=(1-α)^m

P(在m次檢驗(yàn)中至少一次決策錯(cuò)誤) = 1-(1-α)^m

隨著檢驗(yàn)次數(shù)的增多，出現(xiàn)至少一次決策錯(cuò)誤的概率快速提高。當(dāng)說(shuō)起“根據(jù)假設(shè)檢驗(yàn)的次數(shù)校正p值”時(shí)，意思是控制整體的I型錯(cuò)誤率。

例如：當(dāng)做差異基因檢測(cè)時(shí)，每個(gè)基因分別進(jìn)行檢測(cè)生成一個(gè)p值。如果p值設(shè)置為0.05，每個(gè)差異基因識(shí)別出錯(cuò)的概率為5%。如果同時(shí)分析100個(gè)基因，按照p<0.05篩選的差異基因中有5個(gè)可能是差異不顯著的。如果對(duì)一組10000個(gè)基因進(jìn)行檢測(cè)，按照p<0.05篩選的差異基因中有500個(gè)可能是差異不顯著的。因此，同時(shí)進(jìn)行多次統(tǒng)計(jì)檢驗(yàn)時(shí)，校正每個(gè)基因的p值是很重要的。多重檢驗(yàn)校正調(diào)整每個(gè)基因的p值，以使總體錯(cuò)誤率小于或等于用戶指定的p-cutoff value。

如何進(jìn)行多重假設(shè)檢驗(yàn)校正？

Family Wise Error Rate校正法控制假陽(yáng)性率為0

Family Wise Error Rate是控制全部比較中至少出現(xiàn)一次Type I error的概率，也就是控制假陽(yáng)性率為0。這是很?chē)?yán)格的方式。

通常有兩種計(jì)算方法：

Bonferroni correction方法

如果要維持整個(gè)檢測(cè) (做了m次檢測(cè))的Type I error rate < 0.05，則需要設(shè)定p-value為0.05/m作為篩選標(biāo)準(zhǔn)。反過(guò)來(lái)，如果我們做了10000次統(tǒng)計(jì)檢測(cè)，采用Bonferroni correction方法校正后的p值就是原始P-value * 10000。

當(dāng)然，我們也只是借這個(gè)方法理解校正的計(jì)算方式，實(shí)際卻不用這個(gè)方法。

這對(duì)其中任何一個(gè)檢測(cè)是否差異統(tǒng)計(jì)顯著是不公平的，因?yàn)樗Q于檢測(cè)的總數(shù)目。一個(gè)檢測(cè)放在有100次檢測(cè)的操作集合中可能統(tǒng)計(jì)顯著，而放在有1000次檢測(cè)的操作集合中可能統(tǒng)計(jì)就不顯著了，這是不合適的。

Bonferroni adjustments are, at best, unnecessary and, at worst, deleterious to sound statistical inference.

Perneger (1998)

Holm 校正方法

Holm 校正方法相對(duì)沒(méi)有那么嚴(yán)苛。假設(shè)針對(duì)10000個(gè)基因進(jìn)行了統(tǒng)計(jì)檢驗(yàn)，對(duì)所有的原始P-value進(jìn)行由小到大的排序分別為p1, p2, ..., p10000，校正后的p為：p1*10000, p2*9999, ..., p10000*1。

FDR校正法：允許一定的假陽(yáng)性率

在實(shí)際應(yīng)用中，我們希望減少Type I Error出現(xiàn)的可能，但也可以容許一定的假陽(yáng)性率的存在。

Benjamini and Hochberg FDR (BH)

這是我們最常用的校正P-value控制假陽(yáng)性率的方式。假設(shè)針對(duì)10000個(gè)基因進(jìn)行了統(tǒng)計(jì)檢驗(yàn)，對(duì)所有的原始P-value進(jìn)行由小到大的排序分別為p1, p2, ..., p10000，校正后的FDR為：p1*10000/1, p2*10000/2, ..., p10000*10000/10000。與Bonferroni correction一致的地方是都乘以了檢測(cè)總數(shù)，不一致的地方是BH算法在此基礎(chǔ)上除去了各個(gè)原始p-value的排序值。

具體計(jì)算方式見(jiàn)下表（總檢測(cè)次數(shù)為10次；控制FDR小于0.1）

RankP-valueFDRFDR_formulaReject H0Reject_formula

1	0.0008	0.008	=B2*10/A2	TRUE	=C2<0.1
2	0.009	0.045	=B3*10/A3	TRUE	=C3<0.1
3	0.165	0.55	=B4*10/A4	FALSE	=C4<0.1
4	0.205	0.5125	=B5*10/A5	FALSE	=C5<0.1
5	0.396	0.792	=B6*10/A6	FALSE	=C6<0.1
6	0.45	0.75	=B7*10/A7	FALSE	=C7<0.1
7	0.641	0.915714286	=B8*10/A8	FALSE	=C8<0.1
8	0.781	0.97625	=B9*10/A9	FALSE	=C9<0.1
9	0.9	1	=B10*10/A10	FALSE	=C10<0.1
10	0.993	0.993	=B11*10/A11	FALSE	=C11<0.1

BH法有時(shí)也稱fdr法，是我們最常用的多重假設(shè)檢驗(yàn)校正方法，可以很好的控制假陽(yáng)性率和維持統(tǒng)計(jì)檢出力。R函數(shù)p.adjust可用來(lái)計(jì)算一組p-value校正后的fdr值。(DESeq2中返回的padj也是用BH方法控制的FDR)

q-value是什么？

q-value是Storey和Tibshirani提出的基于p-value分布的FDR計(jì)量方法，具體見(jiàn)什么，你算出的P-value看上去像齊天大圣變的廟？。

如何盡量減少統(tǒng)計(jì)檢驗(yàn)次數(shù)

我們看到上面的校正方法多于統(tǒng)計(jì)檢測(cè)次數(shù)有關(guān)，統(tǒng)計(jì)檢測(cè)次數(shù)越多，校正也會(huì)越強(qiáng)烈。有沒(méi)有合適的辦法來(lái)規(guī)避一些無(wú)意義的統(tǒng)計(jì)檢驗(yàn)?zāi)?#xff1f;

• WGCNA方法通過(guò)把基因聚類(lèi)為模塊再進(jìn)行統(tǒng)計(jì)分析，大大降低了統(tǒng)計(jì)檢驗(yàn)次數(shù)，具體見(jiàn)WGCNA分析，簡(jiǎn)單全面的最新教程

• GSEA、GO等富集分析時(shí)合并相似的GO/KEGG通路再進(jìn)行富集分析，如一文掌握GSEA，超詳細(xì)教程中提到的合并共有基因數(shù)目超過(guò)70%的通路。

• 差異基因分析時(shí)過(guò)濾掉極低表達(dá)的基因 (低表達(dá)基因通常生物意義小或檢測(cè)噪聲大，即便有差異也難分清是生物差異還是技術(shù)差異)，如高通量數(shù)據(jù)中批次效應(yīng)的鑒定和處理 - 系列總結(jié)和更新提到的方法。

  DESeq2中還額外進(jìn)行了independent filtering進(jìn)行進(jìn)一步過(guò)濾提高統(tǒng)計(jì)檢出率。

  沒(méi)有通過(guò)過(guò)濾標(biāo)準(zhǔn)的基因校正后的padj賦值為NA (這也是之前總被問(wèn)起的DESeq2結(jié)果中NA的來(lái)源)。

如何獲得更小更穩(wěn)定的檢測(cè)P-value

• 增加生物重復(fù)使得統(tǒng)計(jì)結(jié)果檢驗(yàn)更穩(wěn)定，見(jiàn)如果不是沒(méi)有錢(qián)誰(shuí)想只測(cè)3個(gè)重復(fù)。

• 選擇合適的統(tǒng)計(jì)方法屏蔽個(gè)體差異，見(jiàn)上面提到的批次校正和limma配對(duì)檢驗(yàn)。

References

http://www.nonlinear.com/support/progenesis/comet/faq/v2.0/pq-values.aspx

https://www.statisticssolutions.com/to-err-is-human-what-are-type-i-and-ii-errors/

https://www.nature.com/articles/nbt1209-1135

https://en.wikipedia.org/wiki/Multiple_comparisons_problem

https://www.stat.berkeley.edu/~mgoldman/Section0402.pdf

http://www.biostathandbook.com/multiplecomparisons.html

http://nebc.nerc.ac.uk/courses/GeneSpring/GS_Mar2006/Multiple%20testing%20corrections.pdf

https://www.gs.washington.edu/academics/courses/akey/56008/lecture/lecture10.pdf

http://www.stat.columbia.edu/~gelman/research/published/multiple2f.pdf

往期精品(點(diǎn)擊圖片直達(dá)文字對(duì)應(yīng)教程)

后臺(tái)回復(fù)“生信寶典福利第一波”或點(diǎn)擊閱讀原文獲取教程合集

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的总被审稿人提起的多重假设检验校正是什么？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。