Region Proposal Networks.png

特征圖中每個(gè)紅色框的中心點(diǎn)都可以對應(yīng)到原圖的某個(gè)點(diǎn)，原圖中的這個(gè)點(diǎn)被稱為錨點(diǎn)（anchor）。對于每個(gè)錨點(diǎn)，我們都會以它為中心點(diǎn)選擇 9 個(gè)不同大小和長寬比例的框（論文中為 128 * 128，256 * 256，512 * 512 的三種尺寸，每種尺寸按 1:1,1:2,2:1的長寬比例縮放，共 9 個(gè)，它們在預(yù)測時(shí)的順序是固定的），作為 RPN 需要評估的候選框。RPN 的目標(biāo)就是對原圖中的每個(gè)錨點(diǎn)對應(yīng)的 9 個(gè)框，預(yù)測他是否是一個(gè)存在目標(biāo)的框（并不一定包含完整的目標(biāo)，只要這個(gè)框與 groud truth 的 IoU>0.7就認(rèn)為這個(gè)框是一個(gè) region proposal）。并且對于預(yù)測為 region proposal 的框， RPN 還會預(yù)測一種長寬縮放和位置平移的位置修正，使得對這個(gè) anchor box 修正后與 groud truth 的位置盡可能重疊度越高，修正后的框作為真正的 region proposal。

RPN 的主要步驟如下：
1、利用 VGG16 等卷積神經(jīng)網(wǎng)絡(luò)的卷積層的到一些特征圖，例如圖中的 256 個(gè) H * W 的特征圖
2、在特征圖上用 3 * 3 的滑動窗口進(jìn)行卷積，得到進(jìn)一步的 256 * H * W 的特征圖，從特征的維度看可以看成 H * W 的特征圖上每個(gè)點(diǎn)都有一個(gè) 256 維的特征向量
3、將特征圖上每個(gè)點(diǎn)的 256 維特征與兩個(gè)全連接層連接。第一個(gè)全連接層輸出 2 * 9 個(gè)值，即這個(gè)錨點(diǎn)對應(yīng)的 9 個(gè) achor box，每個(gè) box 兩個(gè)值分別表示包含目標(biāo)的概率與不包含的概率（使用了 softmax loss 所以需要兩個(gè)值）。例如前兩個(gè)值表示 128 * 128 的 box 包含與不包含目標(biāo)的概率。第二個(gè)全連接層輸出 4 * 9 個(gè)值，每個(gè) anchor box 對應(yīng) 4 個(gè)值，它們分別表征對 groud truth 的長寬與x、y坐標(biāo)的預(yù)測。（訓(xùn)練時(shí)只有包含目標(biāo)（即與 groud truth 的 IoU>0.7）的 anchor box 對 groud truth 位置與大小預(yù)測的誤差才會對 loss 有貢獻(xiàn)）
4、對步驟 3 中預(yù)測包含目標(biāo)的 anchor box，利用 4 個(gè)位置回歸值對 box 進(jìn)行平移和縮放，就能產(chǎn)生大量的候選框，此時(shí)利用非極大值抑制篩選一些預(yù)測分較高的候選框，作為最終的 region proposals

疑問一：為什么 RPN能夠預(yù)測 groud truth 的位置（輸入特征只有圖像像素的卷積特征，完全沒有位置信息）？
實(shí)際上步驟 3 中預(yù)測的 4 個(gè)值不是直接預(yù)測 H, W, x, y，很顯然由于特征圖上每個(gè)點(diǎn)都是共享權(quán)值的，它們根本沒法對不同的長寬和位置做出直接的預(yù)測（想象一下輸入的特征只是圖像的卷積特征，完全沒有當(dāng)前 anchor box 的位置大小信息，顯然不可能預(yù)測出 groud truth 的絕對位置和大?。＿@ 4 個(gè)值是預(yù)測如何經(jīng)過平移與縮放使得當(dāng)前這個(gè) anchor box 能與 groud truth 盡可能重合（見 R-CNN 論文附錄C）：

位置與大小修正公式.png

位置與大小回歸的目標(biāo)值.png

位置回歸目標(biāo)函數(shù).png