論文:Enriched Feature Guided Refinement Network for Object Detection
l 問題引入
今天依舊是基于SSD的魔改,基于經(jīng)典工作的修改是真滴多。針對原始SSD的兩個問題不能處理尺度變化很大和前景背景類不平衡。
作者歸咎SSD不能處理尺度變化很大的原因可能是每一個預(yù)測層固定的上下文語義信息,許多方法是通過特征金字塔的方式提供高層語義信息給較淺層的特征圖,即加一個TOP-DOWN結(jié)構(gòu),簡單的添加的這樣一個結(jié)構(gòu)確實(shí)有一定效果,但是還是有可改善的空間。
正負(fù)樣例類別不平衡的問題解決的辦法例如focal loss,OHEM,就是訓(xùn)練難樣本,降低簡單樣本的loss權(quán)重。
作者提出了一個EFGR(Enriched Feature Guided Refinement)結(jié)構(gòu),能夠同時解決這兩個問題。
l 方法
整體結(jié)構(gòu)如下:

結(jié)構(gòu)看起來的簡單,不考慮細(xì)節(jié),跟BOTTLE-UP加TOP-DOWN結(jié)構(gòu)是一致的,只是top-down這里也改成一個BOTTLE-UP,將圖片下采樣然后經(jīng)過MSCF模塊得到特征圖與SSD得到的特征圖結(jié)合再進(jìn)行目標(biāo)檢測??梢钥吹骄褪莾纱蠼Y(jié)構(gòu)MSCF和CRS,下面好好看看這兩個模塊:
MSCF(Multi-scale Contextual Features Module):多尺度上下文特征模塊,結(jié)構(gòu)如下:

無非就是一些卷積操作,里面有趣的就是splitting, transformation再aggregation的過程,靈感來源于ResNeXT,這里對于不同分支使用不同dilatation率的dilated conv組合得到多尺度上下文信息的特征,接下來它就是作者說的cascaded refinement scheme的輸入,也就是之前我認(rèn)為的再一個bottle-up的起始。
CRS(Cascaded Refinement Scheme):級聯(lián)的精細(xì)化方案。
OM(Objectness Module):這里可以看作是two-stage方法中的RPN中的分類和邊框貨柜,這里只會是判斷是否是物體的二分類。這里使用的是MSCF中得到的多尺度上下文特征和SSD的特征逐元素相乘得到的enriched features。下圖是三種特征:SSD原始特征、MSCF、兩者組合的enriched features的可視化。可以看到效果是很明顯的,有用的特征更加集中在目標(biāo)物體上。

FGRM(Feature Guided Refinement Module):特征指導(dǎo)的精細(xì)化模塊

這里不僅refine anchor同時也refine特征,這里還有些沒看懂。明天還需要再補(bǔ)充一下。
l 實(shí)驗(yàn)
