之前有篇文章返修的時(shí)候?qū)徃迦司蛦?wèn)了這樣一個(gè)問(wèn)題：為什么使用ROC曲線而不考慮PR曲線，有沒(méi)有嘗試過(guò)其它方法進(jìn)行分類(lèi)診斷？于是就有了今天總結(jié)的內(nèi)容。

1.ROC診斷曲線

背景

ROC的全稱(chēng)是“受試者工作特征”（Receiver Operating Characteristic）曲線，首先是由二戰(zhàn)中的電子工程師和雷達(dá)工程師發(fā)明的，用來(lái)偵測(cè)戰(zhàn)場(chǎng)上的敵軍載具（飛機(jī)、船艦），也就是信號(hào)檢測(cè)理論。之后很快就被引入了心理學(xué)來(lái)進(jìn)行信號(hào)的知覺(jué)檢測(cè)。此后被引入機(jī)器學(xué)習(xí)領(lǐng)域，用來(lái)評(píng)判分類(lèi)、檢測(cè)結(jié)果的好壞。因此，ROC曲線是非常重要和常見(jiàn)的統(tǒng)計(jì)分析方法。

定義

ROC能衡量某種診斷方法對(duì)疾病的識(shí)別能力，是確定診斷試驗(yàn)標(biāo)準(zhǔn)（即區(qū)分正常和異常的界值）的重要手段。接受者操作特性曲線就是以假陽(yáng)性概率（False positive rate）為橫軸，擊中概率為縱軸所組成的坐標(biāo)圖，和被試在特定刺激條件下由于采用不同的判斷標(biāo)準(zhǔn)得出的不同結(jié)果畫(huà)出的曲線。

主要用途

1.ROC曲線能很容易地查出任意界限值時(shí)的對(duì)性能的識(shí)別能力。
2.選擇最佳的診斷界限值。ROC曲線越靠近左上角,試驗(yàn)的準(zhǔn)確性就越高。最靠近左上角的ROC曲線的點(diǎn)是錯(cuò)誤最少的最好閾值，其假陽(yáng)性和假陰性的總數(shù)最少。
3.兩種或兩種以上不同診斷試驗(yàn)對(duì)算法性能的比較。在對(duì)同一種算法的兩種或兩種以上診斷方法進(jìn)行比較時(shí)，可將各試驗(yàn)的ROC曲線繪制到同一坐標(biāo)中，以直觀地鑒別優(yōu)劣，靠近左上角的ROC曲線所代表的受試者工作最準(zhǔn)確。亦可通過(guò)分別計(jì)算各個(gè)試驗(yàn)的ROC曲線下的面積(AUC)進(jìn)行比較，哪一種試驗(yàn)的 AUC最大，則哪一種試驗(yàn)的診斷價(jià)值最佳。

優(yōu)點(diǎn)

該方法簡(jiǎn)單、直觀，通過(guò)圖示可觀察分析方法的準(zhǔn)確性，并可用肉眼作出判斷。ROC曲線將靈敏度與特異性以圖示方法結(jié)合在一起，可準(zhǔn)確反映某分析方法特異性和敏感性的關(guān)系，是試驗(yàn)準(zhǔn)確性的綜合代表。ROC曲線不固定分類(lèi)界值，允許中間狀態(tài)存在，利于使用者結(jié)合專(zhuān)業(yè)知識(shí)，權(quán)衡漏診與誤診的影響，選擇一更佳截?cái)帱c(diǎn)作為診斷參考值。提供不同試驗(yàn)之間在共同標(biāo)尺下的直觀的比較，ROC曲線越凸越近左上角表明其診斷價(jià)值越大，利于不同指標(biāo)間的比較。曲線下面積可評(píng)價(jià)診斷準(zhǔn)確性

基本概念

橫坐標(biāo)：1-Specificity，1-特異性，偽正類(lèi)率(False positive rate， FPR)，預(yù)測(cè)為正但實(shí)際為負(fù)的樣本占所有負(fù)例樣本的比例，X軸越接近零準(zhǔn)確率越高；
縱坐標(biāo)：Sensitivity，真正類(lèi)率(True positive rate， TPR)，預(yù)測(cè)為正且實(shí)際為正的樣本占所有正例樣本的比例，Y軸越大代表準(zhǔn)確率越好。
TPR和FPR：TPR（敏感度，真陽(yáng)性率）：在所有實(shí)際為陽(yáng)性的樣本中，被正確地判斷為陽(yáng)性之比率：TPR=TP/(TP+FN)；FPR（1-特異性，假陽(yáng)性率）：在所有實(shí)際為陰性的樣本中，被錯(cuò)誤地判斷為陽(yáng)性之比率：FPR=FP/(FP+TN)。四個(gè)指標(biāo)，分別為：真陽(yáng)（TP）、偽陽(yáng)（FP）、偽陰（FN）、真陰（TN）。
AUC(Area Under Curve)被定義為ROC曲線下與坐標(biāo)軸圍成的面積，顯然這個(gè)面積的數(shù)值不會(huì)大于1。又由于ROC曲線一般都處于y=x這條直線的上方，所以AUC的取值范圍在0.5和1之間。AUC越接近1.0，檢測(cè)方法真實(shí)性越高;等于0.5時(shí)，則真實(shí)性最低，無(wú)應(yīng)用價(jià)值。
在AUC＞0.5的情況下，AUC越接近于1，說(shuō)明診斷效果越好；AUC在0.5～0.7時(shí)有較低準(zhǔn)確性，AUC在0.7～0.9時(shí)有一定準(zhǔn)確性，AUC在0.9以上時(shí)有較高準(zhǔn)確性。

優(yōu)點(diǎn)：兼顧正例和負(fù)例的權(quán)衡。因?yàn)門(mén)PR聚焦于正例，F(xiàn)PR聚焦于與負(fù)例，使其成為一個(gè)比較均衡的評(píng)估方法。
ROC曲線選用的兩個(gè)指標(biāo)， TPR和FPR，都不依賴(lài)于具體的類(lèi)別分布。
缺點(diǎn)：ROC曲線的優(yōu)點(diǎn)是不會(huì)隨著類(lèi)別分布的改變而改變，但這在某種程度上也是其缺點(diǎn)。因?yàn)樨?fù)例N增加了很多，而曲線卻沒(méi)變，這等于產(chǎn)生了大量FP。像信息檢索中如果主要關(guān)心正例的預(yù)測(cè)準(zhǔn)確性的話，這就不可接受了。在類(lèi)別不平衡的背景下，負(fù)例的數(shù)目眾多致使FPR的增長(zhǎng)不明顯，導(dǎo)致ROC曲線呈現(xiàn)一個(gè)過(guò)分樂(lè)觀的效果估計(jì)。ROC曲線的橫軸采用FPR，根據(jù)公式 ，當(dāng)負(fù)例N的數(shù)量遠(yuǎn)超正例P時(shí)，F(xiàn)P的大幅增長(zhǎng)只能換來(lái)FPR的微小改變。結(jié)果是雖然大量負(fù)例被錯(cuò)判成正例，在ROC曲線上卻無(wú)法直觀地看出來(lái)。（當(dāng)然也可以只分析ROC曲線左邊一小段）

2.P-R曲線

P-R曲線刻畫(huà)查準(zhǔn)率和查全率之間的關(guān)系，查準(zhǔn)率指的是在所有預(yù)測(cè)為正例的數(shù)據(jù)中，真正例所占的比例，查全率是指預(yù)測(cè)為真正例的數(shù)據(jù)占所有正例數(shù)據(jù)的比例。
即：查準(zhǔn)率P=TP／(TP + FP) 查全率=TP／（TP+FN）
查準(zhǔn)率和查全率是一對(duì)矛盾的度量，一般來(lái)說(shuō)，查準(zhǔn)率高時(shí)，查全率往往偏低，查全率高時(shí)，查準(zhǔn)率往往偏低，例如，若希望將好瓜盡可能多選出來(lái)，則可通過(guò)增加選瓜的數(shù)量來(lái)實(shí)現(xiàn)，如果希望將所有的西瓜都選上，那么所有的好瓜必然都被選上了，但這樣查準(zhǔn)率就會(huì)較低；若希望選出的瓜中好瓜比例盡可能高，則可只挑選最有把握的瓜，但這樣就難免會(huì)漏掉不少好瓜，使得查全率較低。

PR曲線與ROC曲線的相同點(diǎn)是都采用了TPR (Recall)，都可以用AUC來(lái)衡量分類(lèi)器的效果。不同點(diǎn)是ROC曲線使用了FPR，而PR曲線使用了Precision，因此PR曲線的兩個(gè)指標(biāo)都聚焦于正例。類(lèi)別不平衡問(wèn)題中由于主要關(guān)心正例，所以在此情況下PR曲線被廣泛認(rèn)為優(yōu)于ROC曲線。

使用場(chǎng)景

1.ROC曲線由于兼顧正例與負(fù)例，所以適用于評(píng)估分類(lèi)器的整體性能，相比而言PR曲線完全聚焦于正例。
2.如果有多份數(shù)據(jù)且存在不同的類(lèi)別分布，比如信用卡欺詐問(wèn)題中每個(gè)月正例和負(fù)例的比例可能都不相同，這時(shí)候如果只想單純地比較分類(lèi)器的性能且剔除類(lèi)別分布改變的影響，則ROC曲線比較適合，因?yàn)轭?lèi)別分布改變可能使得PR曲線發(fā)生變化時(shí)好時(shí)壞，這種時(shí)候難以進(jìn)行模型比較；反之，如果想測(cè)試不同類(lèi)別分布下對(duì)分類(lèi)器的性能的影響，則PR曲線比較適合。
3.如果想要評(píng)估在相同的類(lèi)別分布下正例的預(yù)測(cè)情況，則宜選PR曲線。
4.類(lèi)別不平衡問(wèn)題中，ROC曲線通常會(huì)給出一個(gè)樂(lè)觀的效果估計(jì)，所以大部分時(shí)候還是PR曲線更好。
5.最后可以根據(jù)具體的應(yīng)用，在曲線上找到最優(yōu)的點(diǎn)，得到相對(duì)應(yīng)的precision，recall，f1 score等指標(biāo)，去調(diào)整模型的閾值，從而得到一個(gè)符合具體應(yīng)用的模型。

作者：解琪琪；袁文華
鏈接：http://www.itdecent.cn/u/bcb81276c29d
來(lái)源：簡(jiǎn)書(shū)
參考學(xué)習(xí)資源：全面理解ROC
機(jī)器學(xué)習(xí)基礎(chǔ)（1）- ROC曲線理解
AUC，ROC我看到的最透徹的講解
機(jī)器學(xué)習(xí)之分類(lèi)性能度量指標(biāo) : ROC曲線、AUC值、正確率、召回率
ROC Analysis: Key Statistical Tool for Evaluating Detection Technologies
Advantages of ROC curves
為什么ROC曲線不受樣本不均衡問(wèn)題的影響
二戰(zhàn)周志華《機(jī)器學(xué)習(xí)》-PR曲線和ROC曲線
深度學(xué)習(xí)面試題解答
簡(jiǎn)書(shū)著作權(quán)歸作者所有，任何形式的轉(zhuǎn)載都請(qǐng)聯(lián)系作者獲得授權(quán)并注明出處。