?PaperWeekly 原創(chuàng) ·?作者 | 張一帆

學(xué)校 | 中科院自動(dòng)化所博士生

研究方向 | 計(jì)算機(jī)視覺

近期因果推理相關(guān)研究榮獲諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)，本文通過三篇文章簡單介紹一下 Causal Algorithmic Recourse 這個(gè)任務(wù)以及近期的進(jìn)展。首先我們來介紹一下問題的背景，令 代表可觀測特征， 代表受保護(hù)屬性，可以簡單理解為多個(gè) domain， 是 domain label。一個(gè)二分類器 預(yù)測數(shù)據(jù)標(biāo)簽 。我們能觀察到的只有數(shù)據(jù)集 。

Algorithmic fairness

Algorithmic fairness 作為一個(gè)更大眾也是被研究更多的任務(wù)，發(fā)現(xiàn)和糾正自動(dòng)化決策系統(tǒng)潛在的歧視性行為。給定一個(gè)數(shù)據(jù)集，該數(shù)據(jù)集包含來多個(gè)群體（例如，根據(jù)年齡、性別或種族定義）的個(gè)人，以及經(jīng)過訓(xùn)練以進(jìn)行決策的二元分類器（例如，這些人是否被批準(zhǔn)使用信用卡）。

一個(gè)直觀的例子是，如果我們的訓(xùn)練數(shù)據(jù)存在一些年齡的歧視。日常生活中老年人可能更小概率被批準(zhǔn)使用，所以我們的數(shù)據(jù)隱含著這種先驗(yàn)，因此最后分類器可能也會(huì)被個(gè)體的年齡所誤導(dǎo)。但是真實(shí)情況是，我們并不希望分類器被這些保護(hù)屬性，而是希望它盡可能公平（fairness），即只根據(jù)財(cái)政狀況本身進(jìn)行分類。

大多數(shù)實(shí)現(xiàn)算法公平的方法都試圖根據(jù)一些預(yù)先定義的（統(tǒng)計(jì)或因果）標(biāo)準(zhǔn)量化不公平的程度，然后通過改變分類器來糾正它。這種預(yù)測公平性的概念通常認(rèn)為數(shù)據(jù)集是固定的，因此個(gè)體是不可改變的。

Algorithmic Recourse

Algorithmic Recourse 與 fairness 的目的相同，都是為了更加公平，但是手段不同。Recourse 顧名思義，是為那些被決策系統(tǒng)不利對(duì)待的人提供建議，以克服他們的不利處境，是通過修改數(shù)據(jù)來改變 unfairness 的手段。對(duì)于給定的分類器和錯(cuò)誤分類的個(gè)體，Algorithmic Recourse 的目的是識(shí)別個(gè)體可以執(zhí)行哪些改變來翻轉(zhuǎn)決策。與 Algorithmic fairness 相反，recourse 認(rèn)為分類器是固定的，但是個(gè)人本身可以采取行動(dòng)。一句話，recourse 指的是通過改變變量的值來影響模型預(yù)測結(jié)果的能力，公式化為：

這里的 是一組可行的變化向量， 是定義在這一組行為上的花費(fèi)函數(shù)，這二者都取決于單個(gè)樣本本身。這樣獨(dú)立的對(duì)變量進(jìn)行操作是有一定問題的，我們稱這個(gè)假設(shè)為 independently-manipulable features（IMF），只有當(dāng)被操作變量對(duì)其他變量沒有的影響時(shí)，這種操作才是合理的。但是我們知道，特征之間往往是有一定的因果關(guān)系的，如何刻畫這種關(guān)系呢？下文給出了答案。

論文標(biāo)題：

Algorithmic Recourse: from Counterfactual Explanations to Interventions

論文鏈接：

https://arxiv.org/abs/2002.06278

這篇文章提出了 causal recourse，主要的改進(jìn)在于：

1. 提出將 recourse 的問題在 SCM（結(jié)構(gòu)化因果模型）的框架下進(jìn)行處理；

2. 在傳統(tǒng)的 recourse 中，我們關(guān)注的是距離 最近的那個(gè)正例樣本，而在 causal recourse 中，我們關(guān)注最小干預(yù)。

將優(yōu)化問題重寫為：

被稱之為 的“counterfactual twin”，即我們做干預(yù) 之后得到的變量。

這里簡單介紹一下變量含義以及因果圖的基礎(chǔ)定義。一個(gè) SCM 就是一個(gè) DAG（有向無環(huán)圖），可觀測變量記為 ，這些變量是由一系列結(jié)構(gòu)方程生成的 ， 是 的父節(jié)點(diǎn)，即對(duì) 有直接因果關(guān)系的因子， 可以看作是影響 的噪聲因子（稱為外生變量），不可觀測。

引入 SCM 的一個(gè)重要目的是研究干預(yù)，即將因果圖中的某個(gè)節(jié)點(diǎn)置為定值，觀察其他節(jié)點(diǎn)的變化（與上述 IMF 不同，IMF 影響單個(gè)因子其余因子不變）。我們記作 ，簡記為 。那么干預(yù)的過程是怎樣的呢，首先我們把選中的 給一個(gè)固定值，然后使用這些新值重新計(jì)算出 SCM 中的狀態(tài)，也就是說比起傳統(tǒng)的 recourse 而言，這里只是多了一步通過 SCM 中的因果關(guān)系更新其他狀態(tài)的值而已。

Equalizing Recourse across Groups

論文標(biāo)題：

Equalizing Recourse across Groups

論文鏈接：

https://arxiv.org/abs/1909.03166

基礎(chǔ)的 recourse 測量的是單個(gè)樣本，本文給出了一個(gè) group 級(jí)別的 recourse 度量。

方法思路很簡單，對(duì)每一個(gè)負(fù)樣本即 ，我們定義一個(gè)關(guān)于他的 recourse cost 為：

即與 距離最近的的正樣本的距離。那么對(duì)一個(gè) group，我們就能計(jì)算所有負(fù)樣本的 IMF 距離然后計(jì)算平均作為這個(gè) group 的。

那么對(duì)整個(gè)數(shù)據(jù)集而言，IMF recourse 定義為任意兩個(gè)數(shù)據(jù)集 IMF 距離的最大差值。

本文主張將不同域平均 recourse 成本相等，并在訓(xùn)練分類器時(shí)將此作為約束。

ICML 2021

論文標(biāo)題：

On the Fairness of Causal Algorithmic Recourse

論文鏈接：

https://arxiv.org/abs/2010.06529

Equalizing recourse 這樣的 formulation 忽略了 recourse 從根本上是一個(gè)因果問題，因?yàn)樵诂F(xiàn)實(shí)世界中個(gè)人為了改變自己的處境而采取的行動(dòng)可能會(huì)產(chǎn)生下游效應(yīng)。IMF 由于沒有對(duì)特征之間的因果關(guān)系進(jìn)行推理，這種基于距離的方法 (i) 不能準(zhǔn)確反映真實(shí)的（差異）recourse cost，并且 (ii) 僅限于經(jīng)典的以預(yù)測為中心的方法，即改變分類器（將 group recourse cost 作為訓(xùn)練約束）來處理 discriminatory recourse。

本文與 IMF 最直觀的差異在于，考慮了多個(gè)變量之間的相互影響即所謂的因果關(guān)系。

本文首先也給出了一個(gè)樣本上的 recourse 花費(fèi)：causal（CAU）recourse，將 IMF 的最小距離轉(zhuǎn)化為因果圖里的最小干預(yù)。

類似的我們可以計(jì)算每個(gè)域中的平均 recourse 距離，然后定義距離最大的兩個(gè)組之間的平均距離為 Group-level fair causal recourse。正式定義為如下形式：

我們稱對(duì)于 的 recourse。到此為止，我們已經(jīng)見到了多種定義，但是都是 group-level 的。但是很多研究表明，fairness 更多的是針對(duì)個(gè)體的一個(gè)概念。一個(gè)直觀的理解，如果現(xiàn)在是在執(zhí)行貸款資格審查的問題，保護(hù)屬性（域）可能是性別，年齡等，那么我們單純的評(píng)測域的平均 recourse cost 意義不大，對(duì)于一個(gè)被不公正地給出不利預(yù)測的人來說，發(fā)現(xiàn)同一組的其他成員受到了更有利的待遇，并沒有多少安慰。

所以對(duì) Individually fair causal recourse，我們正式定義為：

這里需要理解的就是 ，這是樣本 的“counterfactual twin”，即將 的域（保護(hù)）信息進(jìn)行改變。

文章舉出了一些例子，驗(yàn)證了前面定義的所有 group-level 的 fairness 都不是 individual fairness 的充分條件。

到了這里，我們已經(jīng)定義完了 metric，那么如何在算法中進(jìn)行優(yōu)化呢？

Constrained optimisation. 一個(gè)簡單的思路即在 loss 中加入相應(yīng)的正則項(xiàng)然后潛移默化的訓(xùn)練分類器，這也正是前面基于 IMF 假設(shè)的方法所做的。這樣我們可以通過一個(gè)權(quán)因子控制準(zhǔn)確率和 fairness 之間的 tradeoff。然而，這樣的優(yōu)化問題涉及到對(duì)特征空間 的組合優(yōu)化，因此，causal recourse 的公平性是否可以輕易地作為一個(gè)可微的約束條件尚不清楚。

Restricting the classifier inputs. 注意到我們現(xiàn)在是在 SCM 中提出的這一系列定義，因此有沒有不同于傳統(tǒng)方法的策略呢？答案是肯定的。借助于因果圖形式的定性知識(shí)，我們對(duì)輸入分類器的特征進(jìn)行限制。強(qiáng)迫輸入特征集僅包含受保護(hù)屬性（域相關(guān)屬性）的非后代，這里可能稍微有點(diǎn)難以理解，在 SCM 中， 即 是 的后代，那么 就對(duì) 有因果作用。

如果我們僅利用 的非后代，那么這種分類方法顯然不會(huì)依賴于受保護(hù)屬性，以此我們也能滿足individual fairness。但是這種方法有一個(gè)致命的問題，由于受保護(hù)的屬性通常代表社會(huì)人口特征（如年齡、性別、種族等），它們經(jīng)常作為因果圖的根節(jié)點(diǎn)出現(xiàn)，并對(duì)許多其他特征產(chǎn)生下游影響。因此，強(qiáng)制分類器只考慮非 的后代作為輸入，會(huì)導(dǎo)致精度下降，這在實(shí)踐中可能是一種限制。

Abduction / representation learning. 上一段我們說明了使用 的非后代特征可以實(shí)現(xiàn) individual fairness，那么我們不妨更進(jìn)一步，外生變量也就是前面我們介紹的噪聲變量 ，他們顯然不是 的后代，而且每個(gè) 都會(huì)有 與其相關(guān)。那么我們能夠使用 來進(jìn)行分類呢，這是有可能的。但是 是不可觀測的，所以我們通常得使用一些特殊的工具從可觀測數(shù)據(jù)中對(duì)其進(jìn)行預(yù)測。

實(shí)驗(yàn)部分，causality 的文章基本上都會(huì)有生成數(shù)據(jù)的實(shí)驗(yàn)。作者準(zhǔn)備了兩種數(shù)據(jù)集

Independently-manipulable features（IMF）：特征之間相互獨(dú)立。

Causally-dependent features（CAU）：特征之間相互依賴并且依賴于 ，SCM 模型如下 ，當(dāng) 是線性函數(shù)時(shí)稱為 ，非線性時(shí)稱為 。

他們相應(yīng)的因果圖如下：

然后是不同的 baseline：

LR/SVM（X,A）：使用所有特征進(jìn)行訓(xùn)練；

LR/SVM（X）：只使用非保護(hù)的特征進(jìn)行訓(xùn)練；

FairSVM（X,A）：前文的 Equalizing recourse，平衡不同保護(hù)群體到?jīng)Q策邊界的平均距離；

LR/SVM（X）：只使用 的非后代特征進(jìn)行訓(xùn)練；

LR/SVM（X,）：使用 的非后代特征與外生變量一起進(jìn)行訓(xùn)練。

metric 有四個(gè)，首當(dāng)其沖的是準(zhǔn)確率， 即 Equalizing recourse 一文中提出的 metric，， 是本文提出的 group-level 與 individual-level 的 metric。

如上表所示，LR/SVM（X,A）與 LR/SVM（X）通常具有較高的精確度，但是在 fairness metrics 上表現(xiàn)不佳，而單純的不使用保護(hù)屬性 不一定有利于 fairness。這也是可以理解的，畢竟我們現(xiàn)在 transfer learning 都是借助域標(biāo)簽來提泛化性能的，沒有域標(biāo)簽根本無從下手。FairSVM 以 作為訓(xùn)練的約束，因此在這個(gè) metric 上表現(xiàn)得很好，特別是在兩個(gè) IMF 的數(shù)據(jù)集上。

同時(shí)有了額外約束的 FairSVM 有時(shí)候也會(huì)比 baseline 在 casual fairness 上表現(xiàn)得稍微好一些。最重要的，如果我們直接依賴 特征，那么可以非常好滿足 individual causal fairness，但是性能會(huì)有很大的下降，正如前文分析的這般。當(dāng)我們引入 時(shí)，情況得到了極大的改善，既保證了準(zhǔn)確性，又完美的滿足了 individual causal fairness 的限制。

需要注意的是，這里的實(shí)驗(yàn)使用的是真實(shí)的 ，正常情況下這是無法觀測的，需要我們?nèi)藶轭A(yù)測，所以這里的 LR/SVM（X,）可以理解為算法的 upper bound。

除了合成數(shù)據(jù)，作者還在 Adult 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，數(shù)據(jù)集的具體介紹可以參照原文，這是一個(gè)專門用于 Causal 的數(shù)據(jù)集，提供了各個(gè)屬性的名稱以及相應(yīng)的因果關(guān)系。

總結(jié)一下，recourse fairness 是一個(gè)非常有趣的話題，可以用來分析我們的數(shù)據(jù)對(duì)敏感或者說受保護(hù)屬性的敏感程度，這個(gè)方向目前發(fā)展不久，目前雖然有一些 metric 來衡量數(shù)據(jù)集和模型 fairness 的程度，但是還不清楚如何在不改變 classifier 的情況下緩解 unfairness。而且可以看到，最后這篇文章實(shí)際上很依賴潛在的結(jié)構(gòu)化因果模型，而在實(shí)際場景中因果模型的 inference 本身就是一個(gè)非常難得問題，recourse fairness 還有很長的路需要走。

特別鳴謝

感謝 TCCI 天橋腦科學(xué)研究院對(duì)于 PaperWeekly 的支持。TCCI 關(guān)注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

📝?稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請(qǐng)明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競爭力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請(qǐng)備注即時(shí)聯(lián)系方式（微信），以便我們?cè)诟寮x用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

·

總結(jié)

以上是生活随笔為你收集整理的如何将因果干预用于提升模型公平性？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。