準確率,召回率,F值,ROC,AUC 責任編輯：詞匯網 發表時間：2016-4-23 20:08:08

度量表

1.準確率

(presion)p=TPTP+FP

理解為你預測對的正例數占你預測正例總量的比率，假設實際有90個正例，10個負例，你預測80(75+,5-)個正例，20(15+,5-)個負例實際上你的準確率為75/80=0.9375，但這個評價指標有什么問題呢，想想就知道，這里你并沒有用到實際的正例數，那么僅僅靠你猜中的正例作為分母，你并不知道實際的正例有多少，你看召回率為75/90=0.83，就是說你的猜測局限于預測范圍

2.召回率
（recall）r=TPTP+FN

理解為你預測對的正例數占真正的正例數的比率，

假設實際有90個正例，10個負例，你如果拍腦袋說有100(90+,10-)個正例，召回率為90/90=1，這樣也是不合理的，特別是在正負樣本失衡，正樣本接近于總數的時候從文本檢索的角度來分析下相應的解釋：
3. F值為p和r的調和平均值 F=2rpp+r

單一的準確率高和召回率高并不能說明問題，所以才有了F值得衡量指標

如上實例實際上 F=0.882，介于準確率和召回率之間。

4.ROC曲線

對于0,1兩類分類問題,一些分類器得到的結果往往不是0,1這樣的標簽,如神經網絡,得到諸如0.5,0,8這樣的分類結果。這時,我們人為取一個閾值,比如0.4,那么小于0.4的為0類,大于等于0.4的為1類,可以得到一個分類結果。同樣,這個閾值我們可以取0.1,0.2等等。取不同的閾值,得到的最后的分類情況也就不同。

如下面這幅圖:

藍色表示原始為負類分類得到的統計圖,紅色為正類得到的統計圖。那么我們取一條直線,直線左邊分為負類,右邊分為正,這條直線也就是我們所取的閾值。

閾值不同,可以得到不同的結果,但是由分類器決定的統計圖始終是不變的。這時候就需要一個獨立于閾值,只與分類器有關的評價指標,來衡量特定分類器的好壞。

還有在類不平衡的情況下,如正樣本90個,負樣本10個,直接把所有樣本分類為正樣本,得到識別率為90%。但這顯然是沒有意義的。

如上就是ROC曲線的動機。

關于兩類分類問題,原始類為positive,negative,分類后的類別為p,n。排列組合后得到4種結果

于是我們得到四個指標,分別為真陽,偽陽;偽陰,真陰。

ROC空間將偽陽性率（FPR）定義為 X 軸，真陽性率（TPR）定義為 Y 軸。這兩個值由上面四個值計算得到,公式如下:

TPR：在所有實際為陽性的樣本中，被正確地判斷為陽性之比率。

TPR=TP/(TP+FN)

FPR：在所有實際為陰性的樣本中，被錯誤地判斷為陽性之比率。

FPR=FP/(FP+TN)

放在具體領域來理解上述兩個指標。

如在醫學診斷中,判斷有病的樣本。

那么盡量把有病的揪出來是主要任務,也就是第一個指標TPR,要越高越好。

而把沒病的樣本誤診為有病的,也就是第二個指標FPR,要越低越好。

不難發現,這兩個指標之間是相互制約的。如果某個醫生對于有病的癥狀比較敏感,稍微的小癥狀都判斷為有病,那么他的第一個指標應該會很高,但是第二個指標也就相應地變高。最極端的情況下,他把所有的樣本都看做有病,那么第一個指標達到1,第二個指標也為1。

我們以FPR為橫軸,TPR為縱軸,得到如下ROC空間。

我們可以看出,左上角的點(TPR=1,FPR=0),為完美分類,也就是這個醫生醫術高明,診斷全對。

點A(TPR>FPR),醫生A的判斷大體是正確的。中線上的點B(TPR=FPR),也就是醫生B全都是蒙的,蒙對一半,蒙錯一半;下半平面的點C(TPR<FPR),這個醫生說你有病,那么你很可能沒有病,醫生C的話我們要反著聽,為真庸醫。

上圖中一個閾值,得到一個點。現在我們需要一個獨立于閾值的評價指標來衡量這個醫生的醫術如何,也就是遍歷所有的閾值,得到ROC曲線。

還是一開始的那幅圖,假設如下就是某個醫生的診斷統計圖,直線代表閾值。我們遍歷所有的閾值,能夠在ROC平面上得到如下的ROC曲線。

曲線距離左上角越近,證明分類器效果越好。

如上,是三條ROC曲線,在0.23處取一條直線。那么,在同樣的低FPR=0.23的情況下,紅色分類器得到更高的PTR。也就表明,ROC越往上,分類器效果越好。我們用一個標量值AUC來量化他。

AUC

AUC值為ROC曲線所覆蓋的區域面積,顯然,AUC越大,分類器分類效果越好。

AUC = 1，是完美分類器，采用這個預測模型時，不管設定什么閾值都能得出完美預測。絕大多數預測的場合，不存在完美分類器。

0.5 < AUC < 1，優于隨機猜測。這個分類器（模型）妥善設定閾值的話，能有預測價值。

AUC = 0.5，跟隨機猜測一樣（例：丟銅板），模型沒有預測價值。

AUC < 0.5，比隨機猜測還差；但只要總是反預測而行，就優于隨機猜測。

AUC的物理意義

假設分類器的輸出是樣本屬于正類的socre（置信度），則AUC的物理意義為，任取一對（正、負）樣本，正樣本的score大于負樣本的score的概率。

計算AUC:

第一種方法:AUC為ROC曲線下的面積,那我們直接計算面積可得。面積為一個個小的梯形面積之和。計算的精度與閾值的精度有關。

第二種方法:根據AUC的物理意義,我們計算正樣本score大于負樣本的score的概率。取N*M(N為正樣本數,M為負樣本數)個二元組,比較score,最后得到AUC。時間復雜度為O(N*M)。

第三種方法:與第二種方法相似,直接計算正樣本score大于負樣本的概率。我們首先把所有樣本按照score排序,依次用rank表示他們,如最大score的樣本,rank=n(n=N+M),其次為n-1。那么對于正樣本中rank最大的樣本,rank_max,有M-1個其他正樣本比他score小,那么就有(rank_max-1)-(M-1)個負樣本比他score小。其次為(rank_second-1)-(M-2)。最后我們得到正樣本大于負樣本的概率為

時間復雜度為O(N+M)。

總結

以上是生活随笔為你收集整理的准确率,召回率,F值,ROC,AUC的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。