1.模型評(píng)估與選擇
1.1 ROC與AUC
ROC的橫軸為真正例率TPR,縱軸為假正例率FPR
定義為:,
ROC曲線的畫法為:
給定個(gè)正例和
個(gè)反例。根據(jù)學(xué)習(xí)器的預(yù)測(cè)結(jié)果對(duì)樣例進(jìn)行排序(即每個(gè)樣本為正例的概率),然后把分類閾值調(diào)最大,即把所有樣例均預(yù)測(cè)為反例,畫出(0,0)點(diǎn)。之后依次按照每個(gè)樣本的概率從大到小調(diào)整閾值,分別計(jì)算TPR和FPR,作出整個(gè)ROC曲線如下圖。

可以看出,AUC的取值范圍為[0.5,1],越接近1,檢測(cè)方法準(zhǔn)確率越高,越接近0.5,則真實(shí)性越低,無使用價(jià)值。