評(píng)價(jià)指標(biāo)

1、IOU

分割或者目標(biāo)檢測(cè)預(yù)測(cè)prediction,可以分成4個(gè)部分:
1、true negative(TN)把區(qū)域A,預(yù)測(cè)為是背景,并且確實(shí)是背景
2、false negative(FN)畫出了一塊區(qū)域B,預(yù)測(cè)是背景,但是實(shí)際上是標(biāo)簽
3、false positive(FP)畫出一塊區(qū)域C,預(yù)測(cè)是標(biāo)簽,其實(shí)是背景
4、true positive(TP)畫出一塊區(qū)域D,預(yù)測(cè)是標(biāo)簽,確實(shí)是標(biāo)簽
在評(píng)價(jià)的時(shí)候常用的指標(biāo)有:IOU(交并比,也有叫做IU的),像素準(zhǔn)確率(pixel-accuracy),有的時(shí)候還有平均準(zhǔn)確率(mean-accuracy)

總結(jié)一下:看最后一個(gè)字母是N就是預(yù)測(cè)是背景,那么真實(shí)的標(biāo)簽是不是背景呢?看第一個(gè)字母,是T就是,預(yù)測(cè)的是背景,確實(shí)是背景;是F,就說明,預(yù)測(cè)是背景,其實(shí)是標(biāo)簽;再來,看第二個(gè)字母是P,說明預(yù)測(cè)是標(biāo)簽,是不是呢?看第一個(gè)字母,是T,預(yù)測(cè)的標(biāo)簽,事實(shí)確實(shí)就是標(biāo)簽,是F,預(yù)測(cè)是標(biāo)簽,事實(shí)上是背景。

然后
IOU=\frac{真實(shí)標(biāo)簽和預(yù)測(cè)的交集}{真實(shí)標(biāo)簽和預(yù)測(cè)的并集}=\frac{TP}{TP+FP+FN}
再通俗地說就是
IOU=\frac{預(yù)測(cè)是標(biāo)簽確實(shí)是標(biāo)簽的部分}{分子+預(yù)測(cè)是標(biāo)簽但是其實(shí)是背景+預(yù)測(cè)的背景但是其實(shí)是標(biāo)簽}


不好意思,上面的圖畫錯(cuò)了,T和P的顏色和對(duì)應(yīng)關(guān)系畫反了,應(yīng)該是:
這個(gè)圖

解釋一下我畫的圖:
nIOU是預(yù)測(cè)是標(biāo)簽真實(shí)確實(shí)是標(biāo)簽的所有像素 / (你預(yù)測(cè)的部分的像素 + 真實(shí)標(biāo)簽的像素 - 分子)
nIOU=\frac{TP[i]}{T[i]+P[i]-TP[i]}

2、混淆矩陣

https://zhuanlan.zhihu.com/p/360765777

混淆矩陣是一個(gè)總結(jié)分類器所得結(jié)果的矩陣,一般為k行k列(k為分類的類別數(shù))。以二分類為例,混淆矩陣如下圖所示。


  • 假陽性率(FPR)
    FPR = \frac{FP}{FP+TN}
    FP就是預(yù)測(cè)是標(biāo)簽,但是實(shí)際上是背景,希望這件事情不要發(fā)生,所以假陽性率越小越好。
    再說一下上面的公式:FP,假陽,預(yù)測(cè)是標(biāo)簽,實(shí)際是背景,預(yù)測(cè)錯(cuò)了,用FP比上(FP+TN),比上它自己然后加上,TN,就是預(yù)測(cè)是背景,并且預(yù)測(cè)對(duì)了,所以就是
    假陽率=\frac{把背景誤認(rèn)為是標(biāo)簽的像素?cái)?shù)}{總背景像素?cái)?shù)}
    記住FP就是背景,怎么看,先看P標(biāo)簽,再看F,假的,假的標(biāo)簽就是背景
    TN,一看N背景,再看T真的,真背景,顯然是背景
    所以FP+TN就是總的背景的像素?cái)?shù)。
    希望模型別老把背景認(rèn)成標(biāo)簽,希望你小一點(diǎn),(你就是這個(gè)假陽率指標(biāo))
  • 真陽性率(TPR)
    TPR = \frac{TP}{TP+FN}
    TP就是預(yù)測(cè)的是標(biāo)簽,實(shí)際上它確實(shí)是標(biāo)簽,說明預(yù)測(cè)對(duì)了,所以希望真陽性率越大越好。(也是召回率的公式)
    真陽率=\frac{預(yù)測(cè)對(duì)的標(biāo)簽區(qū)域的像素?cái)?shù)}{所有的標(biāo)簽區(qū)域的像素?cái)?shù)}
    希望模型把標(biāo)簽的區(qū)域都預(yù)測(cè)出來啊,所以希望你大一些

通過設(shè)定一個(gè)閾值如0.6,概率大于等于0.6的為標(biāo)簽,小于0.6的為背景。對(duì)應(yīng)的就可以算出一組(FPR,TPR),在平面中得到對(duì)應(yīng)坐標(biāo)點(diǎn)。隨著閾值的逐漸減小,越來越多的實(shí)例(比如像素)被劃分為標(biāo)簽,但是這些標(biāo)簽中同樣也摻雜著真正的背景,即TPR和FPR會(huì)同時(shí)增大。閾值最大時(shí),對(duì)應(yīng)坐標(biāo)點(diǎn)為(0,0),閾值最小時(shí),對(duì)應(yīng)坐標(biāo)點(diǎn)(1,1)。

3、ROC曲線

ROC曲線是Receiver Operating Characteristic Curve的簡(jiǎn)稱,中文名是受試者工作特征曲線
如何畫ROC曲線:

(1)首先,ROC曲線的橫坐標(biāo)是假陽性率FPR,縱坐標(biāo)是真陽性率TPR。
(2)其次,明確計(jì)算ROC的時(shí)候,預(yù)測(cè)值y_pred一般都是[0, 1]的小數(shù)(代表預(yù)測(cè)為正樣本的概率),真實(shí)值y_true為0或1。如果計(jì)算FPR和TPR,我們就需要知道預(yù)測(cè)的正負(fù)樣本情況,但給的預(yù)測(cè)值是小數(shù),如何劃分預(yù)測(cè)的正負(fù)樣本呢?答案是選取截?cái)帱c(diǎn)(閾值)。
(3)截?cái)帱c(diǎn)是指區(qū)分正負(fù)預(yù)測(cè)結(jié)果的閾值。比如截?cái)帱c(diǎn)=0.1,那就表示y_pred<0.1的為預(yù)測(cè)為負(fù)樣本,y_pred>=0.1預(yù)測(cè)正樣本。所以繪制ROC曲線需要不斷移動(dòng)“截?cái)帱c(diǎn)”(調(diào)整閾值)來得到所有的(FPR,TPR)點(diǎn),然后把這些點(diǎn)用線段連起來就是ROC曲線了。

計(jì)算ROC

詳細(xì)過程見我寫的word文檔。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容