Detection in Crowded Scenes

titile Detection in Crowded Scenes: One Proposal, Multiple Predictions
url https://arxiv.org/pdf/2003.09163.pdf
動(dòng)機(jī) 提高密集場(chǎng)景人體檢測(cè)的效果，simple and almost cost-free。
內(nèi)容 貢獻(xiàn)點(diǎn)：
1、每個(gè)proposal預(yù)測(cè)a set of instance。
2、EMD loss學(xué)習(xí)instance set prediction。
3、后處理Set NMS。
4、 refinement module (RM)，解決潛在的FP（可選）。

現(xiàn)有方法解決crowd問題：
1、NMS：soft NMS、softer NMS、different NMS thresholds for different bounding boxes、adaptive-NMS。
2、Loss functions for crowded detection： Aggregation Loss(proposals更貼近gt) 、Repulsion Loss(proposal與多個(gè)gt overlap，引入懲罰項(xiàng))，這些loss對(duì)crowded場(chǎng)景有幫助但NMS仍然限制crowd場(chǎng)景。
3、Re-scoring： RelationNet(不用NMS在coco也有好的效果，但是crowdhuman效果不好，different predictions from very close proposals, so their features and relations are also very similar)、part-based detectors
本文方法：Multiple Instance Prediction
一個(gè)proposal匹配多個(gè)gt
1、Instance set prediction：c：class label with confidence、l：relative coordinates

2、EMD loss（實(shí)驗(yàn)中K=2）：
3、Set NMS：we check whether the two box come from the same proposal; if yes, we skip the suppression
4、Refinement module：一個(gè)proposal匹配多個(gè)gt，有更多的predictions，有產(chǎn)生更多FP風(fēng)險(xiǎn)，

5、Discussion: relation to previous methods：
（1）Double-person detector models person pairs in the DPM。
（2）MultiBox 在image patch預(yù)測(cè)所有instances; YOLO v1/v2預(yù)測(cè)all instances centered at a certain location, 它們不是proposal-based。
（3） https://arxiv.org/pdf/1506.04878.pdf用LSTM去decode圖像中每個(gè)grid的instance boxes，和EMD loss相似，用Hungarian Loss for multiple instance supervision，后處理merge the predictions produced by adjacent grids，該方法沒有用到proposals，很難檢測(cè)various sizes/shapes objects(pedestrians or general objects)，LSTM復(fù)雜, 整合到framework比較難。
實(shí)驗(yàn) Evaluation metrics：
1、 Averaged Precision (AP)。
2、MR?2：log-average Miss Rate on False Positive Per Image (FPPI) in [10?2,100]，對(duì)FP敏感，尤其高分的FP。
3、Jaccard Index (JI)：counting ability of a detector。

Detailed Settings：
resnet50+FPN+ROIAlign，NMS=0.5。

Experiment on CrowdHuman：
Main results and ablation study：
1、沒有MR時(shí)，AP和JI均增長(zhǎng)較多，說明更多的正樣本檢測(cè)到，MR也增長(zhǎng)說明沒有引入更多的FP
2、加入RM，AP和JI略增長(zhǎng)，MR增長(zhǎng)多，說明有減少FP作用。

Comparisons with various NMS strategies：
1、NMS 閾值增大(0.5->0.6)recall多，AP增大，但MR指標(biāo)變差，召回FP多。
2、Soft-NMS：增加AP，JI和MR不變。

Comparisons with previous works：
GossipNet and RelationNet – which are representative works categorized into advanced NMS and re-scoring approaches respectively

Analysis on recalls：

Experiments on CityPersons
Qualitative results：

Experiments on COCO
coco crowdedness比較少，coco數(shù)據(jù)集效果可以說明以下兩點(diǎn)：
1) whether our method generalizes well to multi-class detection problems;
2) whether the proposed approach is robust to different crowdedness, especially to isolated instances.
思考
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容