本文主要貢獻(xiàn)
(1)提出adaptive-NMS,可以根據(jù)目標(biāo)密度動態(tài)改變實例中的抑制閾值;
(2)設(shè)計了一個Density-subnet用來學(xué)習(xí)密度分?jǐn)?shù),可以方便的嵌入single-stage和two-stage模型中;
(3)實現(xiàn)了CityPersons和CrowdHuman數(shù)據(jù)集的sota結(jié)果。

Greedy-NMS

操作步驟:
(1)得到一組檢測框集合B+對應(yīng)的分?jǐn)?shù)集合S;
(2)從B中選著分?jǐn)?shù)最高的框M移除,放到目標(biāo)集合F中;
(3)移除B中所有與M的IoU大于設(shè)定閾值Nt的框,并移除S中對應(yīng)的分?jǐn)?shù);
(4)重復(fù)步驟(2)~(3)。
存在的問題:
Nt設(shè)置較低,miss rate增大,true positives可能被移除;
Nt設(shè)置較高,盡管高覆蓋的true positives可以被保留,但false posives也會增加。
soft-NMS
解決方案:
將抑制步驟(3)改為使用重打分函數(shù)抑制

其中f函數(shù)是一個overlap的函數(shù):
greedy-NMS中f恒等于0,即當(dāng)bi與M的IoU大于Nt時,移除bi;
soft-NMS中f會隨著IoU的增大減小si分?jǐn)?shù),即當(dāng)bi與M的IoU大于Nt時,f=1-IoU或者f=exp(-IoU^2/σ);
實質(zhì)時通過soft懲罰項抑制M周圍bi的分?jǐn)?shù)si。
存在的問題:
在目標(biāo)密集區(qū)域,與M高覆蓋的bi雖然是true positives的可能性很大,但是仍然受到很大的懲罰。
Adaptive-NMS
修正策略:

其中Nm代表adptive-NMS中M的抑制閾值,dM是M的目標(biāo)密度
將抑制策略分成三類進(jìn)行討論:
(1)當(dāng)鄰框遠(yuǎn)離M時(即IoU<Nt),保持si不變;
(2)當(dāng)M處于密集區(qū)域時(即Nm>Nt),目標(biāo)密度dM作為NMS的抑制閾值;
(3)當(dāng)M處于稀疏區(qū)域時(即Nm≤Nt),初始閾值Nt作為NMS的抑制閾值。
Density Prediction
adaptive-NMS保持著greedy-NMS和soft-NMS的效率,但多了一步目標(biāo)密度的預(yù)測,本文設(shè)計了一個Density-subnet對目標(biāo)密度進(jìn)行回歸預(yù)測。

因為檢測器的輸出特征只包含目標(biāo)本身的信息,也就是語義特征和位置,難以直接進(jìn)行目標(biāo)密度的預(yù)測。
本文首先使用1*1卷積層降維,然后與objectness和bounding boxes兩層進(jìn)行concatenate,作為Density-subnet的輸入,此方法對one-stage和two-stage檢測器均適用。
實驗


