《深度學習在圖像識別中的研究進展與展望》 王曉剛
看了一下2015年機器視覺領域相關的論文，其中涉及CNN（卷積神經(jīng)網(wǎng)絡）的相當多。再加上今年3月份，谷歌的阿爾法狗在圍棋比賽中戰(zhàn)勝了李世乭，神經(jīng)網(wǎng)絡、深度學習、人工智能又一次成為了人們關注的熱點。華科計算機幾個大實驗室?guī)缀醵加猩婕暗竭@個方面的研究。圖像所主要研究醫(yī)學影像處理；理論所主要研究算法的優(yōu)化；國光這一邊目前更偏向于體系結構優(yōu)化以及硬件加速。
這篇文章來源于香港機器視覺領域知名學者王曉剛，但是具體的期刊名稱和日期沒有找到。文章不長，但涉及面很廣，內容也很有指導意義。以下是對于這片文章的簡要總結。
深度學習發(fā)展歷史
- 上世紀40年代 神經(jīng)網(wǎng)絡模型被提出，試圖通過模擬大腦認知的機理，解決各種機器學習的問題。
- 1986年 Rumelhart，Hinton 和 Williams 在《自然》發(fā)表了著名的反向傳播算法，用于訓練神經(jīng)網(wǎng)絡
- 2000年前后 由于計算資源有限、訓練集規(guī)模小，人們更傾向于淺層學習機（如SVM、Boosting、最鄰近等分類器）
- 2006年 Geoffrey Hinton 提出了深度學習
- 2012年 Hinton 的研究小組采用深度學習（卷積神經(jīng)網(wǎng)絡模型）贏得了 ImageNet 圖像分類的比賽，把top5錯誤率降到15.315%，并且結果由于第二名10%以上，因此引起了較大轟動并掀起了深度學習的熱潮，這個網(wǎng)絡的結構被稱作 AlexNet
- 2013-2014年 百度、谷歌、facebook陸續(xù)成立深度學習實驗室
- 2014年 ILSVRC比賽中GooLeNet將top5錯誤率降到6.656%，它的最大特點就是深度超過20層
深度學習有何與眾不同？
特征學習
深度學習與傳統(tǒng)模式識別方法的最大不同在于它是從大數(shù)據(jù)中自動學習特征。而非采用手工設計的特征。傳統(tǒng)的模式識別系統(tǒng)依賴先驗知識，需要手工調整參數(shù)，因此參數(shù)不易過多。然而深度學習模型可以包含千萬級別的參數(shù)。
深度學習的關鍵就是通過多層非線性映射將圖像中復雜的因素成功地分開。
深層結構的優(yōu)勢
如果模型的深度不夠，其所需的計算單元就會呈指數(shù)增加。這也就是淺層模型、三層神經(jīng)網(wǎng)絡的問題所在。深度模型能夠減少參數(shù)的關鍵在于重復利用中間層的計算單元。
在最高的隱含層，每個神經(jīng)元代表了一個屬性分類器，例如男女、人種和頭發(fā)顏色等等。每個神經(jīng)元將圖像空間一分為二，N 個神經(jīng)元的組合就可以表達2N個局部區(qū)域，而用淺層模型表達這些區(qū)域的劃分至少需要個2N 模板。
提取全局特征和上下文信息的能力
圖像分割的時候，面對遮擋的問題需要根據(jù)全局和上下文信息進行判斷。傳統(tǒng)方法通常在第一步提取局部紋理特征的時候就丟失的全局信息。而深度學習在提取圖像的全局特征和上下文信息方面具有優(yōu)勢。因此在人臉分割、人臉匹配和人體姿態(tài)估計等方面深度學習取得了成功。
圖像分割可以被當做一個高維數(shù)據(jù)轉換的問題來解決。這樣不但利用到了上下文信息，模型在高維數(shù)據(jù)轉換的過程中也隱式地加入了形狀先驗。
聯(lián)合深度學習
用于行人檢測的聯(lián)合深度學習中，深度模型的各個層和視覺系統(tǒng)的各個模塊可以建立起對應關系。與之類似的還有多階段深度學習。還有一些視覺系統(tǒng)中的有效關鍵模塊在現(xiàn)有的深度學習中沒有對應層，那么可以考慮新的深度模型。例如聯(lián)合深度學習及其后續(xù)研究針對幾何形變提出的新的形變層和形變池化層?？傊?，為了能夠在機器視覺領域更好的應用深度學習模型，僅僅把它當成一個黑盒子是不夠的。
深度學習在圖像處理中的應用
在于圖像和視頻相關的應用中，最成功的是深度卷積網(wǎng)絡，它正是利用了與圖像的特殊結構。其中最重要的兩個操作，卷積和池化（pooling）都來自于與圖像相關的領域知識。
- ImageNet圖像分類
- 人臉識別
（文中多次提到，將CNN最高的隱含層作為特征？） - 物體檢測
- 視頻分析 難點是如何描述動態(tài)特征，如何將這些信息體現(xiàn)在深度模型中。最直接的做法是，將視頻視為三維圖像直接應用卷積網(wǎng)絡。另一種更好的思路是通過預處理計算光流場，作為卷及神經(jīng)網(wǎng)絡的一個輸入通道。
補充
從特征描述符到深度學習：計算機視覺發(fā)展20年：從特征描述的角度來講機器視覺的發(fā)展。
另外深層模型參數(shù)多，計算量大，訓練數(shù)據(jù)的規(guī)模也更大，需要消耗很多計算資源。如果可以讓訓練加速，就可以在同樣的時間內多嘗試幾個新主意，多調試幾組參數(shù)，工作效率會明顯提升，對于大規(guī)模的訓練數(shù)據(jù)和模型來說，更可以將難以完成的任務變成可能。對于深度學習的加速，一種方法是使用GPU并行計算提高速度。一塊GPU卡可相當于數(shù)十甚至上百臺CPU服務器的計算能力，因此GPU已經(jīng)成為業(yè)界在深度學習模型訓練方面的首選解決方案。另外一種方法是使用FPGA進行特定模型的加速，相較于GPU來說FPGA能耗更小，但通用性不強。
