??stn網(wǎng)絡(luò)包含3個(gè)部分，如圖所示，分別是Localisation net，Grid generator，Sampler。

image.png

??上圖中的網(wǎng)絡(luò)輸入是U，輸出是V，V是由U計(jì)算得來(lái)的，U和V大小尺寸可以不一致。V根據(jù)U中的對(duì)應(yīng)的像素點(diǎn)按照一定的映射規(guī)則來(lái)計(jì)算得到，這樣就需要如何解決如下問(wèn)題：1）由哪些像素點(diǎn)來(lái)映射；2）如何映射，映射的參數(shù)是什么。上面的3個(gè)組件的作用就是解決以上問(wèn)題的，Localisation net計(jì)算映射的參數(shù)；Grid generator計(jì)算對(duì)應(yīng)的像素點(diǎn)；Sampler根據(jù)像素點(diǎn)和參數(shù)計(jì)算出V的值。

??stn可以應(yīng)用在網(wǎng)絡(luò)的各個(gè)層，一般可以提高網(wǎng)絡(luò)的性能。