Adaptive NMS: Refining Pedestrian Detection in a Crowd論文解析

本文主要貢獻(xiàn)

(1)提出adaptive-NMS,可以根據(jù)目標(biāo)密度動態(tài)改變實例中的抑制閾值;
(2)設(shè)計了一個Density-subnet用來學(xué)習(xí)密度分?jǐn)?shù),可以方便的嵌入single-stage和two-stage模型中;
(3)實現(xiàn)了CityPersons和CrowdHuman數(shù)據(jù)集的sota結(jié)果。


改進(jìn)思路
Greedy-NMS
不同閾值下的Greedy-NMS結(jié)果

操作步驟:
(1)得到一組檢測框集合B+對應(yīng)的分?jǐn)?shù)集合S;
(2)從B中選著分?jǐn)?shù)最高的框M移除,放到目標(biāo)集合F中;
(3)移除B中所有與M的IoU大于設(shè)定閾值Nt的框,并移除S中對應(yīng)的分?jǐn)?shù);
(4)重復(fù)步驟(2)~(3)。
存在的問題:
Nt設(shè)置較低,miss rate增大,true positives可能被移除;
Nt設(shè)置較高,盡管高覆蓋的true positives可以被保留,但false posives也會增加。

soft-NMS

解決方案:
將抑制步驟(3)改為使用重打分函數(shù)抑制



其中f函數(shù)是一個overlap的函數(shù):
greedy-NMS中f恒等于0,即當(dāng)bi與M的IoU大于Nt時,移除bi;
soft-NMS中f會隨著IoU的增大減小si分?jǐn)?shù),即當(dāng)bi與M的IoU大于Nt時,f=1-IoU或者f=exp(-IoU^2/σ);
實質(zhì)時通過soft懲罰項抑制M周圍bi的分?jǐn)?shù)si。

存在的問題:
在目標(biāo)密集區(qū)域,與M高覆蓋的bi雖然是true positives的可能性很大,但是仍然受到很大的懲罰。

Adaptive-NMS

修正策略:



其中Nm代表adptive-NMS中M的抑制閾值,dM是M的目標(biāo)密度
將抑制策略分成三類進(jìn)行討論:
(1)當(dāng)鄰框遠(yuǎn)離M時(即IoU<Nt),保持si不變;
(2)當(dāng)M處于密集區(qū)域時(即Nm>Nt),目標(biāo)密度dM作為NMS的抑制閾值;
(3)當(dāng)M處于稀疏區(qū)域時(即Nm≤Nt),初始閾值Nt作為NMS的抑制閾值。

Density Prediction

adaptive-NMS保持著greedy-NMS和soft-NMS的效率,但多了一步目標(biāo)密度的預(yù)測,本文設(shè)計了一個Density-subnet對目標(biāo)密度進(jìn)行回歸預(yù)測。


one-stage和two-stage的Density預(yù)測框架

因為檢測器的輸出特征只包含目標(biāo)本身的信息,也就是語義特征和位置,難以直接進(jìn)行目標(biāo)密度的預(yù)測。
本文首先使用1*1卷積層降維,然后與objectness和bounding boxes兩層進(jìn)行concatenate,作為Density-subnet的輸入,此方法對one-stage和two-stage檢測器均適用。

實驗

Cityperson
CrowdHuman
直觀比較
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容