MIT课程笔记①丨因果关系定义及潜在结果分析框架
本文在MIT在線課程《3.Data Analysis for Social Scientists》中Causality(因果關系)部分課程的課件基礎上,補充了相關信息、增加了個人理解,詳細介紹了因果關系的本質及其實踐。
本篇是四篇系列文章的第一篇,主要解讀因果關系定義與潛在結果分析框架。
什么是因果關系
我們經常做出的因果陳述(Causal Statements),比如:
? 因為她吃了藥,所以她頭疼好多了
? 因為她上了MIT,所以她找到了好工作
? 因為她是非裔美國人,所以她沒有獲得面試機會
這些因果陳述到底想表達什么意思呢?這些陳述中暗含著一個反事實(counterfactual)的世界(類似平行宇宙的想法)。不同的行為發生了,對應上面三個例子:
? (反事實)她沒有吃藥
? (反事實)她沒有上MIT,她可能做了其它事情(可做了什么在陳述中并沒有明確指出)
? (反事實)這里意思不完全清楚,是改變的她的種族?還是改變人們在做聘用決定時關于種族的看法?
總體來說,當我們思考因果關系時,我們考慮的是操作(干預)一個“因”的可能效果,假如我們干預或不干預這個“因”,然后什么會發生。
因果關系可以被證明嗎?
在經濟和社會科學領域,許多我們想回答的問題是因果問題:移民是否降低了本地工人的工資?貿易是否增加了不平等?在美國和墨西哥之間建立隔離墻是否能阻止移民?所以在社會科學領域的許多數據科學目標是回答“因”與“果”的問題。
但是,針對一些重要但非因果問題時,因果分析沒什么用。例如,我們可能感興趣識別在學校兒童存在危險的早期預兆信號,這樣我們可以集中努力解決它們。谷歌會希望基于人們的搜索模式預測他們對什么東西感興趣,從而向他們提供他們更可能感興趣的廣告。此時更關注的是相關關系。
統計學分析因果關系使用了因果推斷(Causal Inference),提到推斷就涉及證明問題,有學者認為統計學不能被“證明”因果,只有“相關”是可以被證明。
有一個很有名的例子,叫做 Yule-Simpson’s Paradox。有文獻稱,Karl Pearson 很早就發現了這個悖論——也許這正是他反對統計因果推斷的原因。此悖論表明,存在如下的可能性:X和Y在邊緣上正相關(處理效果為正),但是給定另外一個變量Z后,在Z的每一個取值上,X和Y都負相關。下表是一個數值的例子,處理對整個人群有 “正作用”,奇怪的是,處理對男性有 “負作用”,對女性也有 “負作用”。一個處理對男性和女性都有 “負作用”,但是他對整個人群卻有 “正作用”:悖論產生了!
上面的例子是人工構造的,在現實中,也存在不少的實例正是 Yule-Simpson’s Paradox。比如,UC Berkeley 的著名統計學家 Peter Bickel 教授 1975 年在 Science 上發表文章,報告了 Berkeley 研究生院男女錄取率的差異。他發現,總體上,男性的錄取率高于女性,然而按照專業分層后,女性的錄取率卻高于男性(Bickel 等 1975)。
在統計上,這具有重要的意義—變量之間的相關關系可以完全的被第三個變量 “扭曲”。更嚴重的問題是,我們的收集的數據可能存在局限性,忽略潛在的“第三個變量” 可能改變已有的結論,而我們常常卻一無所知,雖然對已知的可以通過實驗設計以避免。鑒于 Yule-Simpson 悖論的潛在可能,不少人認為,統計不可能用來研究因果關系。
在做因果關系研究時,經常用到假設檢驗、P值以及推導出的統計學意義。一般認為P≤0.05或者P≤0.01就有顯著性差異,研究就有統計意義。但,最新一期2019年3月份的Nature雜志發表了三位統計學家的一封公開信,他們號召科學家放棄追求“統計學意義”,并且停止用統計學中常見的P值作為判斷標準。統計學上無顯著的結果并不能“證明”零假設;統計上顯著的結果也沒有“證明”某些其他假設。標題猶如戰斗檄文一樣令人振奮。在文章發出不到24小時,就有250多人簽名支持,一周之內吸引了超過800名研究人員共同反對。
文中總結并不是要拋棄P值與相關的統計方法,而是要徹底理解統計因果分析的內涵,從而在證明因果方面的保持謹慎。研究人員可以從教育自己對統計的誤解開始,最重要的是在每項研究中從多個角度考慮不確定性。
在大數據時代,之前大家過于關注易于被證明的相關關系而忽略了因果,關于因果關系和相關關系的討論,業內已經進行很久,但是因果對于洞察和預測的價值更大,現在在大數據領域,對于因果應該被重新重視起來,了解因果分析對大家正確理解各種研究結果與數據分析也非常有幫助。
因果分析關系框架:潛在結果框架
潛在結果框架(Potential Outcome Framework)這個模型由哈佛統計學家Donald Rubin提出。在思考隨機對照試驗(Randomized Controlled Trials, RCT)和更一般的因果關系時非常有用。這不是在社會科學中思考因果關系的唯一(或最普遍的)方式,在社會科學中SEM(結構方程模型Structural Equation Modeling)更普遍。但是潛在結果框架越來越普及,并且越熟悉它,越能在兩者之間切換。
潛在結果框架又稱為Rubin因果模型(Rubin causal model, RCM)或者Neyman–Rubin因果模型。
(參考:https://en.wikipedia.org/wiki/Rubin_causal_model)
Rubin Causal Model分析框架有三個基本的要素:
潛在結果(Potential Outcome)
個體處理穩定性假設(Stable Unit Treatment Value Assumption,SUTVA)
分配機制(Assignment Mechanism)。
(參考: https://zhuanlan.zhihu.com/p/33299957)
潛在結果與因果效應定義
01、潛在結果
潛在結果:給定一個單元,和一系列動作,我們把一個“動作-單元”確定為一個潛在結果。“潛在(potential)”這個詞表達的意思是我們并不總是能在現實中觀察到這個結果(outcome),但原則上它們可能發生。
考慮“潛在結果”這個術語迫使我思考“反事實”(counterfactual),因為我們想知道在那個空間(Space)定義潛在的結果,從而幫助我們提出良好定義的因果問題,或判斷怎樣才是良好定義的因果問題。針對開頭的三個因果關系陳述的例子:
第一個例子是個比較相對清晰的例子:吃了藥對應的反事實是沒吃藥,有時我們把“沒吃藥”作為“控制組”并且把“吃了藥(control group)”作為“實驗組(treatment group)”;
第二個例子相對有一點不清楚:她不去大學的替代選擇是什么呢?
第三個例子更不清楚:如果她是另一個種族什么會發生,那是什么呢?有哪些不同的方式?
在下一個單元介紹隨機對照試驗(RCT)設計時會第二和第三例子如何定義更易于實驗的潛在結果與具體的RCT設計。
02、因果效應的定義
對于任何一個單元,“處理(treatment)”與“不處理(without treatment)”這兩個潛在結果之間的差別就是處理的因果效用(Causal Effect),或者說處理效果(Treatment Effect)。
因果效應定義為:(處理)-(不處理),表達式中括弧內的是干預動作,Y表示這個動作的效果。
頭疼的例子中存在四種可能性(possibilities):(下面表達式中括弧內的是干預動作,Y表示這個動作的效果,等號后面為效果的值)
Y(吃了阿司匹林)=不頭疼;Y(沒吃阿司匹林)=頭疼
Y(吃了阿司匹林)=頭疼;Y(沒吃阿司匹林)=頭疼
Y(吃了阿司匹林)=不頭疼;Y(沒吃阿司匹林)=不頭疼
Y(吃了阿司匹林)=頭疼;Y(沒吃阿司匹林)=不同頭疼
對應的治療效果是:
使頭疼消失了(即有效,證明因果關系陳述成立)
沒有效果
沒有效果
阻止頭疼消失(反效果、負效果,雖然不常見但原則上存在這種可能性)
03、因果推斷的基礎問題
“因果推斷的基礎問題”(Holland, 1986)是對于同一個單元最多只有一個潛在結果被實現而能被觀測到,總有一個缺失值。因果效應(Causal Effect)是在同一個時間(處理后)對同一個單元的對比,處理效果(Treatment Effect)的計算依賴于所有的潛在結果(Potential Outcomes)而不僅僅依賴于實際觀測到的結果。
因此,對于處理效果的估計(Estimation),未來對我們觀測到的結果進行對比,我們將需要許多個單元的數據。(在這個討論中對同一個人不同時間的兩次不同測量是兩個不同的單元)
了解(或假設)一些潛在結果(而不是其它的結果)被實現的方式是非常關鍵的,這個方式會在下一單位分配機制中馬上就會被討論。
個體處理穩定性假設(SUTVA)
01、引入多個單元后存在的問題
當考慮多于一個單元時,事情會很快變得復雜。假設Esther和David都在一個辦公室,并且都在為這門課準備教案。兩個人可能同時頭疼,并且兩個都可以選擇吃(或不吃)阿司匹林。現在每個人都有四種潛在結果:
Y(EA, DN), Y(EA,DA), Y(EN, DN), Y(EN, DA)。
(E指Esther,D指David,A指吃阿司匹林,N指不吃阿司匹林)
在這種情形下,就有種不同的比較,針對以上四種潛在結果的兩兩比較。當我們添加更多的單元時,我們就添加了更多的潛在比較:我們將永遠不會獲得足夠的數據去估計我們想要的東西。
Esther與David各有四種潛在結果和6種比較,兩個人需要被分別編碼,這里Y只是關于一個人的,比如Esther,也就是說會有一個表達式(比如Z替換Y)是關于David的。
為什么是四種潛在結果?為什么兩個人的行為要一起考察呢?是因為兩者的行為存在可能的相互影響。同時這個影響因素不僅僅是因為治療效果,如果僅僅因為治療效果影響另一個人是否采取吃藥的行動,那就可以減少(狀態的)維度了,只進行Esther是否吃藥的比較就可以了。影響的因素可能是,David說“對不起,我頭疼做不了教案了”,那么我(Esther)要做更多的工作所以我就頭疼了;或者,他(David)說他頭疼,他抱怨,于是就讓我頭疼了。
“我們將永遠不會獲得足夠的數據去估計我們想要的東西”,這里表達是當引入更多單元后情況變得更糟糕了。具體是,當只有(Esther)一個人時,只需要進行一個人兩個潛在結果(吃藥與不吃藥)的一個比較,并可以觀測到一個數據點(一個人的一個實現),情況就是有1個數據點的1個比較,當然數據也是不夠的;當增加另外一個人后,就需要進行4個潛在結果的6種比較,實際可以觀測到兩個數據點(兩個人的各一個實現),所以情況變成是有2個數據點的6種比較,數據就更不夠了,引入更多單元后情況沒有改善。我們需要解決這個問題,我們解決這個問題的方式是用一個假設(SUTVA)。
02、個體處理穩定性假設
也許在頭疼例子中自然的假設是:David的頭疼不影響Esther,所以自然的假設是:任何單元的潛在結果(potential outcomes)不會隨分配給其它單元的處理(treatment)而變化; 并且,對于每個單元,沒有導致不同(潛在)結果的一個處理單元的不同形式或版本,即個體處理穩定性假設(Stable Unit Treatment Value Assumption, SUTVA)。
具體就是,首先,排除(在經濟學中被稱為的)外部效應或溢出效應,即該效應一個人的處理(treatment)狀態直接影響另一個人;其次,處理(treatment)被良好的定義,反事實(counterfactual)被良好的定義,例如種族的例子就不符合。如果處理A有三種形式,那么處理(treatment)應該被重新定義為A、B、C三種處理而不是一種。
注:SUTVA超出了獨立的概念。
https://en.wikipedia.org/wiki/Rubin_causal_model#Stable_unit_treatment_value_assumption_(SUTVA)
分配機制的重要性
從現在開始假設SUTVA成立。那么阿司匹林的例子對David和Esther就簡化為兩種情況:每個人吃或不吃阿司匹林與另一個人做什么是不相關的。這個可以擴展到多個單元,從而可以做下面的定義:
假設有一個人群,人數為N,被編號為i,取值1~N;
Wi代表第i個人被處理(treatment)還是不處理(without treatment),值為1表示被處理,值為0表示不處理;
Yi代表第i個人的效果,上標obs表示實際被觀察到,上標miss表示實際沒有被觀察到;
那么第i個人的效果存在下面四種可能:
同時,依定義對于第i個人因果效應為:
如果他在被處理組(treatment),Wi = 1,那么他這個個體不被處理情況的效果不會被觀察到,即數據缺失;反之,如果他在不處理組(controled),Wi = 0,那么他這個個體被處理情況的效果不會被觀察到,即數據缺失;所以對于單個個體的因果效應定義中總有一項數據會缺失,也就是同一個人只有一種情況被觀察到。
缺少數據的問題:我們只觀察到,所以我們不能對一個人計算他的處理效果(treatment effect),我們需要設法從我們觀測到的數據中推斷關于的一些信息,但是為了做到這一點,了解分配機制的原理是非常必要的,即為什么一些人被處理而另一些人沒有?
下篇預告:
在下一個單元中,首先將詳細介紹如何基于觀察數據構建處理效應估計以及估計中存在的選擇性偏差原理,然后介紹如何通過隨機化解決選擇性問題以及RCT類型,并進一步說明本單元開頭三個例子的RCT具體如何進行設計。
參考資料匯總:
[1]https://prod-edxapp.edx-cdn.org/assets/courseware/v1/6b6442916a97d7afc3e9f40801085486/asset-v1:MITx+14.310x+1T2019+type@asset+block/14310x_Lecture14_New_ToUpload.pdf
[2] https://en.wikipedia.org/wiki/Rubin_causal_model
[3] https://en.wikipedia.org/wiki/Rubin_causal_model#Stable_unit_treatment_value_assumption_(SUTVA)
[4] 因果推斷,選擇偏誤與隨機試驗https://zhuanlan.zhihu.com/p/33299957
[5] 因果推斷簡介https://cosx.org/2012/03/causality1-simpson-paradox/
[6] 大學統計學白上了?800多科學家聯名反對“統計學意義”,P值該廢了
https://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA%3D%3D&chksm=f1219b03c65612150ff28a7564a8a0e738e93aea401a02858feac8e0fe0d035cb6aed52b607c&idx=2&mid=2652041202&scene=0&sn=e077f6cfa985caab7e99ebab4a15113a&xtrack=1#rd
[7]https://www.nature.com/articles/d41586-019-00857-9?from=singlemessage&isappinstalled=0#ref-CR4
注:封面圖來源于網絡,如有侵權,請聯系刪除
轉載于:https://juejin.im/post/5ce370af518825312749a572
總結
以上是生活随笔為你收集整理的MIT课程笔记①丨因果关系定义及潜在结果分析框架的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Python入门篇-高级数据类型集合(s
- 下一篇: Tark钱包面向全球招募优秀上币方,千亿