開(kāi)始學(xué)生問(wèn)了一個(gè)問(wèn)題，怎么在訓(xùn)練的時(shí)候增加一層，這個(gè)老師說(shuō)了兩個(gè)論文，一個(gè)是Lan Goodfellow的Net2Net，還有一個(gè)是微軟的網(wǎng)絡(luò)形態(tài)(可能是這個(gè)network morphology)，下來(lái)搜索一下吧。
計(jì)算機(jī)視覺(jué)中的其他任務(wù)：
1. Semantic Segmentation語(yǔ)義分割
輸入一個(gè)圖像，然后輸出圖像中每個(gè)像素的類別。對(duì)每個(gè)像素進(jìn)行標(biāo)注。這個(gè)任務(wù)的解決方法是使用一個(gè)滑動(dòng)窗口。但是有一個(gè)問(wèn)題就是計(jì)算效率低，沒(méi)有reuse重疊區(qū)域的特征。
解決方法是Fully Convolutional，使得可以同時(shí)預(yù)測(cè)每個(gè)像素
C是類別數(shù)量，損失函數(shù)是交叉熵，每個(gè)像素都有預(yù)測(cè)的類別和其真實(shí)類別。
downsampling用于縮小feature map
upsampling：
轉(zhuǎn)置卷積Transpose Convolution：
一種可學(xué)習(xí)的上采樣
對(duì)于重疊區(qū)域，求和即可。也有一些其他名稱，例如Deconvolution...。下圖給出了一個(gè)一緯的轉(zhuǎn)置卷積的例子：
可以將卷積操作看作是矩陣相乘的操作：下圖中[0, a, b, c, d, 0]表示的是一緯的圖片，用0做了padding。卷積核為[x, y, z]，步長(zhǎng)為1，因此可以將卷積操作看成是兩個(gè)矩陣相乘。轉(zhuǎn)置卷積就是將相同的權(quán)重矩陣做轉(zhuǎn)置，
2. Classification + Localization
在預(yù)測(cè)某個(gè)物品的種類的同時(shí)，給該物品畫一個(gè)邊框
將localization任務(wù)看作是一個(gè)回歸問(wèn)題。有兩個(gè)損失函數(shù)。
其他問(wèn)題：Human Pose Estimation
輸入圖片，輸出14個(gè)數(shù)字，給出這14個(gè)關(guān)節(jié)中的每一個(gè)的x和y坐標(biāo)。使用regression loss，例如是L2歐幾里得損失或L1損失。
3. Object Detection物體檢測(cè)
滑動(dòng)窗口
滑動(dòng)窗口每到一個(gè)位置，會(huì)檢測(cè)其是否是某個(gè)種類的。但是一個(gè)問(wèn)題對(duì)象可能出現(xiàn)在圖像中的任何位置，任何大小，任意長(zhǎng)寬比。
使用傳統(tǒng)的信號(hào)處理。selective search。
R-CNN網(wǎng)絡(luò)，根據(jù)區(qū)域提案提出的區(qū)域，因?yàn)槠鋮^(qū)域是大小不同的，將其處理為warped image regions，接著將各個(gè)區(qū)域送到CNN中然后進(jìn)行分類。然而其也是有問(wèn)題的，計(jì)算代價(jià)很昂貴，訓(xùn)練和測(cè)試都很慢，因此有了Fast R-CNN。
然而Fast R-CNN在測(cè)試階段，將大部分時(shí)間用于抽取區(qū)域提案，占用了很多時(shí)間，相反對(duì)于這些提案進(jìn)行預(yù)測(cè)的時(shí)間到很快。所以出現(xiàn)了Faster R-CNN：使得網(wǎng)絡(luò)預(yù)測(cè)自己的區(qū)域提案
Dense Captioning密集字幕
4. Instance Segmentation
Lecture12中主要說(shuō)了可視化CNN中的格層，其中有一個(gè)feature inversion特征反演和texture synthesis紋理合成?？梢杂糜陲L(fēng)格轉(zhuǎn)換style transfer：
