1、IOU
分割或者目標(biāo)檢測(cè)預(yù)測(cè)prediction,可以分成4個(gè)部分:
1、true negative(TN)把區(qū)域A,預(yù)測(cè)為是背景,并且確實(shí)是背景
2、false negative(FN)畫出了一塊區(qū)域B,預(yù)測(cè)是背景,但是實(shí)際上是標(biāo)簽
3、false positive(FP)畫出一塊區(qū)域C,預(yù)測(cè)是標(biāo)簽,其實(shí)是背景
4、true positive(TP)畫出一塊區(qū)域D,預(yù)測(cè)是標(biāo)簽,確實(shí)是標(biāo)簽
在評(píng)價(jià)的時(shí)候常用的指標(biāo)有:IOU(交并比,也有叫做IU的),像素準(zhǔn)確率(pixel-accuracy),有的時(shí)候還有平均準(zhǔn)確率(mean-accuracy)
總結(jié)一下:看最后一個(gè)字母是N就是預(yù)測(cè)是背景,那么真實(shí)的標(biāo)簽是不是背景呢?看第一個(gè)字母,是T就是,預(yù)測(cè)的是背景,確實(shí)是背景;是F,就說明,預(yù)測(cè)是背景,其實(shí)是標(biāo)簽;再來,看第二個(gè)字母是P,說明預(yù)測(cè)是標(biāo)簽,是不是呢?看第一個(gè)字母,是T,預(yù)測(cè)的標(biāo)簽,事實(shí)確實(shí)就是標(biāo)簽,是F,預(yù)測(cè)是標(biāo)簽,事實(shí)上是背景。
然后
再通俗地說就是

不好意思,上面的圖畫錯(cuò)了,T和P的顏色和對(duì)應(yīng)關(guān)系畫反了,應(yīng)該是:

解釋一下我畫的圖:
nIOU是預(yù)測(cè)是標(biāo)簽真實(shí)確實(shí)是標(biāo)簽的所有像素 / (你預(yù)測(cè)的部分的像素 + 真實(shí)標(biāo)簽的像素 - 分子)
2、混淆矩陣
混淆矩陣是一個(gè)總結(jié)分類器所得結(jié)果的矩陣,一般為k行k列(k為分類的類別數(shù))。以二分類為例,混淆矩陣如下圖所示。

- 假陽性率(FPR)
FP就是預(yù)測(cè)是標(biāo)簽,但是實(shí)際上是背景,希望這件事情不要發(fā)生,所以假陽性率越小越好。
再說一下上面的公式:FP,假陽,預(yù)測(cè)是標(biāo)簽,實(shí)際是背景,預(yù)測(cè)錯(cuò)了,用FP比上(FP+TN),比上它自己然后加上,TN,就是預(yù)測(cè)是背景,并且預(yù)測(cè)對(duì)了,所以就是
記住FP就是背景,怎么看,先看P標(biāo)簽,再看F,假的,假的標(biāo)簽就是背景
TN,一看N背景,再看T真的,真背景,顯然是背景
所以FP+TN就是總的背景的像素?cái)?shù)。
希望模型別老把背景認(rèn)成標(biāo)簽,希望你小一點(diǎn),(你就是這個(gè)假陽率指標(biāo)) - 真陽性率(TPR)
TP就是預(yù)測(cè)的是標(biāo)簽,實(shí)際上它確實(shí)是標(biāo)簽,說明預(yù)測(cè)對(duì)了,所以希望真陽性率越大越好。(也是召回率的公式)
希望模型把標(biāo)簽的區(qū)域都預(yù)測(cè)出來啊,所以希望你大一些
通過設(shè)定一個(gè)閾值如0.6,概率大于等于0.6的為標(biāo)簽,小于0.6的為背景。對(duì)應(yīng)的就可以算出一組(FPR,TPR),在平面中得到對(duì)應(yīng)坐標(biāo)點(diǎn)。隨著閾值的逐漸減小,越來越多的實(shí)例(比如像素)被劃分為標(biāo)簽,但是這些標(biāo)簽中同樣也摻雜著真正的背景,即TPR和FPR會(huì)同時(shí)增大。閾值最大時(shí),對(duì)應(yīng)坐標(biāo)點(diǎn)為(0,0),閾值最小時(shí),對(duì)應(yīng)坐標(biāo)點(diǎn)(1,1)。
3、ROC曲線
ROC曲線是Receiver Operating Characteristic Curve的簡(jiǎn)稱,中文名是受試者工作特征曲線。
如何畫ROC曲線:
(1)首先,ROC曲線的橫坐標(biāo)是假陽性率FPR,縱坐標(biāo)是真陽性率TPR。
(2)其次,明確計(jì)算ROC的時(shí)候,預(yù)測(cè)值y_pred一般都是[0, 1]的小數(shù)(代表預(yù)測(cè)為正樣本的概率),真實(shí)值y_true為0或1。如果計(jì)算FPR和TPR,我們就需要知道預(yù)測(cè)的正負(fù)樣本情況,但給的預(yù)測(cè)值是小數(shù),如何劃分預(yù)測(cè)的正負(fù)樣本呢?答案是選取截?cái)帱c(diǎn)(閾值)。
(3)截?cái)帱c(diǎn)是指區(qū)分正負(fù)預(yù)測(cè)結(jié)果的閾值。比如截?cái)帱c(diǎn)=0.1,那就表示y_pred<0.1的為預(yù)測(cè)為負(fù)樣本,y_pred>=0.1預(yù)測(cè)正樣本。所以繪制ROC曲線需要不斷移動(dòng)“截?cái)帱c(diǎn)”(調(diào)整閾值)來得到所有的(FPR,TPR)點(diǎn),然后把這些點(diǎn)用線段連起來就是ROC曲線了。

詳細(xì)過程見我寫的word文檔。