STN
一個(gè)空間變換器的運(yùn)作機(jī)制可以分為三個(gè)部分,如下圖所示:1) 本地網(wǎng)絡(luò)(Localisation Network);2)網(wǎng)格生成器( Grid Genator);3)采樣器(Sampler)
本地網(wǎng)絡(luò)就是一個(gè)簡(jiǎn)單的回歸網(wǎng)絡(luò)。將輸入的圖片進(jìn)行幾個(gè)卷積操作,然后全連接回歸出6個(gè)角度值(假設(shè)是仿射變換),2*3的矩陣。
網(wǎng)格生成器負(fù)責(zé)將U中的坐標(biāo)位置,通過(guò)矩陣運(yùn)算,計(jì)算出目標(biāo)圖V中的每個(gè)位置對(duì)應(yīng)原圖U中的坐標(biāo)位置。即生成T(G)。
通過(guò)STN的變換將不同方位的照片的關(guān)鍵點(diǎn)對(duì)齊(對(duì)其網(wǎng)絡(luò)),Vehicle-ReID中可提升1-2%(mAP)