IndexNet論文筆記-Indices Matter: Learning to Index for Deep Image Matting

github代碼

總體思路
下采樣會損失細(xì)節(jié)信息,但其在網(wǎng)絡(luò)中是必要的,因?yàn)榭梢詼p少網(wǎng)絡(luò)參數(shù),增加感受野的大小,捕捉到更加高階的語義信息。

生成pooling和上采樣的unpooling的索引用于摳圖的細(xì)節(jié)邊緣恢復(fù)。

模型主要基于MobileNet V2, 輕量化。

參考

超分辨領(lǐng)域的Efficient Sub-pixel Convolution(periodic Shuffling)

Indexed Pooling(IP)

  • max pooling and average pooling are both special cases of IP.
  • 生成的index map和feature map進(jìn)行逐點(diǎn)相乘就可以得到pooling的結(jié)果

Indexed Upsampling(IU)
反卷積所用的kernel對每塊區(qū)域都是一樣的,而IU進(jìn)行上采樣時(shí)對每塊區(qū)域使用不同的kernel(使用差異權(quán)重產(chǎn)生不同的index)。這點(diǎn)可以理解為IU其實(shí)是對feature map里數(shù)值的響應(yīng),feature的數(shù)值和原圖的邊緣細(xì)節(jié)高度相關(guān),因此IU所產(chǎn)生的索引能更精確對應(yīng)到相應(yīng)位置上。


待更新

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

友情鏈接更多精彩內(nèi)容