https://blog.csdn.net/Mr_health/article/details/96600580
兩者的區(qū)別與選擇
既然已經(jīng)這么多評(píng)價(jià)標(biāo)準(zhǔn)，為什么還要使用 ROC 和 AUC 呢？因?yàn)?ROC 曲線有個(gè)很好的特性：當(dāng)測(cè)試集中的正負(fù)樣本的分布變化的時(shí)候，ROC 曲線能夠保持不變。在實(shí)際的數(shù)據(jù)集中經(jīng)常會(huì)出現(xiàn)類不平衡(class imbalance)現(xiàn)象，即負(fù)樣本比正樣本多很多(或者相反)，而且測(cè)試數(shù)據(jù)中的正負(fù)樣本的分布也可能隨著時(shí)間變化。下圖是 ROC 曲線和P-R曲線的對(duì)比：
說(shuō)明：圖a和b是原始樣本的ROC曲線和PR曲線，圖c和d是將負(fù)樣本增加10倍后的ROC曲線和PR曲線。
（1）從a和c可以看出，負(fù)樣本增加10倍后，ROC曲線變化不大。分析一下為什么變化不大，固定一個(gè)threshold來(lái)計(jì)算TPR和FPR，其Y軸是，x軸是，當(dāng)負(fù)樣本增加了10倍時(shí)，對(duì)TPR（recall）沒(méi)有影響，F(xiàn)PR的分母（TN+FP）變大了，但是正常概率來(lái)講，這個(gè)時(shí)候超過(guò)threshold的負(fù)樣本量（FP）也會(huì)隨之增加，也就是分子也會(huì)隨之增加，所以總體FPR變化不大。
（2）從b和d圖可以看出，負(fù)樣本增加10倍后，PR曲線變化比較大。其縱軸為，當(dāng)負(fù)樣本增加時(shí)，F(xiàn)P會(huì)增加，這時(shí)候precision會(huì)急速減小。因此P-R曲線會(huì)有明顯的降低。b和d圖示也非常明顯的反映了這一狀況，所以PR曲線變化很大，所以PR曲線對(duì)正負(fù)樣本分布比較敏感。
如何選擇呢？
（1）在很多實(shí)際問(wèn)題中，正負(fù)樣本數(shù)量往往很不均衡。比如，計(jì)算廣告領(lǐng)域經(jīng)常涉及轉(zhuǎn)化率模型，正樣本的數(shù)量往往是負(fù)樣本數(shù)量的1/1000，甚至1/10000。若選擇不同的測(cè)試集，P-R曲線的變化就會(huì)非常大，而ROC曲線則能夠更加穩(wěn)定地反映模型本身的好壞。所以，ROC曲線的適用場(chǎng)景更多，被廣泛用于排序、推薦、廣告等領(lǐng)域。
（2）但需要注意的是，選擇P-R曲線還是ROC曲線是因?qū)嶋H問(wèn)題而異的，如果研究者希望更多地看到模型在特定數(shù)據(jù)集上的表現(xiàn)，P-R曲線則能夠更直觀地反映其性能。
（3）PR曲線比ROC曲線更加關(guān)注正樣本，而ROC則兼顧了兩者。
（4）AUC越大，反映出正樣本的預(yù)測(cè)結(jié)果更加靠前。（推薦的樣本更能符合用戶的喜好）
（5）當(dāng)正負(fù)樣本比例失調(diào)時(shí)，則ROC曲線變化不大，此時(shí)用PR曲線更加能反映出分類器性能的好壞。原因是，當(dāng)樣本嚴(yán)重傾斜時(shí)，我們假定召回率不變，那么表現(xiàn)較差的模型必然會(huì)召回更多的負(fù)樣本，那么FP(假正例)就會(huì)迅速增加，precision就會(huì)大幅衰減。因此P-R曲線相比較于ROC曲線能夠更加直觀的表現(xiàn)模型之間的差異，更加合適。
————————————————
版權(quán)聲明：本文為CSDN博主「Mr_health」的原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請(qǐng)附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/Mr_health/article/details/96600580
