Map Challenge 中的Precision和Recall計(jì)算方式

Map Challenge比賽 的目標(biāo)是識(shí)別出衛(wèi)星圖像中的建筑物. 這是一個(gè)圖像分割問(wèn)題. 衡量分割好壞的標(biāo)準(zhǔn)是結(jié)果的查全率(Recall)和查準(zhǔn)率(Precision).

Precision, 查準(zhǔn)率, 也叫準(zhǔn)確率, 指的是預(yù)測(cè)結(jié)果中的, 正確的結(jié)果True Positive占所有預(yù)測(cè)為正確的結(jié)果的百分比(Predicted Positive = True Positive + False Positive) , 即以下公式:

Precision = True Positive / (True Positive + False Positive)

Recall, 查全率, 也叫召回率. 指的是預(yù)測(cè)結(jié)果中, 實(shí)際上正確的結(jié)果(True Positive), 占所有實(shí)際上正確結(jié)果的百分比(All Positive = True Positive + False Negative), 即以下公式:

Recall = True Positive / (True Positive + False Negative)

在Map Challenge的圖像分割比賽中, 計(jì)算Precison 和Recall的方法如下:

  1. 計(jì)算預(yù)測(cè)結(jié)果(proposed region)與實(shí)際結(jié)果(true region)的IoU (Intersection over Union), 選取IoU大于一定閾值的結(jié)果.
    這里預(yù)測(cè)結(jié)果, 實(shí)際結(jié)果并不是指整張圖片, 而是一片區(qū)域. 如下圖:


    Map Challenge 圖像與標(biāo)注示意圖

    每一個(gè)被標(biāo)注的房屋, 都是一個(gè)實(shí)際的region.

  2. 選取所有IoU大于某一閾值的Annotation, 計(jì)算它們的平均Precision和Recall.

關(guān)于具體如何計(jì)算每個(gè)GroundTruth的Annotation的IoU, 以及每張圖片的Precision和Recall. 可以看這篇文章 Understanding the mAP Evaluation Metric for Object Detection, 這位作者還寫了代碼計(jì)算Bounding Box的mean AP, 可以看作者的gist: https://gist.github.com/tarlen5/008809c3decf19313de216b9208f3734

以上的文章和代碼, 比起Pycocotools的源代碼要容易讀得多.

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容