最近，AI靠著深度學(xué)習(xí)不僅成為傳統(tǒng)的工業(yè)、醫(yī)療、商業(yè)和互聯(lián)網(wǎng)領(lǐng)域的前沿，還包括新的領(lǐng)域，像自動(dòng)駕駛和服務(wù)型機(jī)器人的研發(fā)。究竟這門(mén)在學(xué)術(shù)界和工業(yè)界都備受關(guān)注的技術(shù)本質(zhì)不同是什么？深度學(xué)習(xí)的核心思想是什么呢？我認(rèn)為就是更多的GPU、更多的數(shù)據(jù)和更復(fù)雜的模型。
學(xué)習(xí)目標(biāo)
不是所有的數(shù)據(jù)，機(jī)器都能學(xué)。比如輸入一個(gè)瀏覽器代碼，機(jī)器不會(huì)學(xué)習(xí)到如何開(kāi)發(fā)瀏覽器（現(xiàn)有技術(shù)下）。效果好的應(yīng)用集中于圖像和文本領(lǐng)域，如圖像分類(lèi)、目標(biāo)識(shí)別和推薦系統(tǒng)等。如果你要解決的是個(gè)回歸（預(yù)測(cè)連續(xù)值）或分類(lèi)問(wèn)題（預(yù)測(cè)離散值），這種技術(shù)也許會(huì)有效。因?yàn)?strong>學(xué)習(xí)的目標(biāo)可以明確定義為最小化預(yù)測(cè)值和真實(shí)值的差，偏差一般是均方誤差、多分類(lèi)的softmax損失和SVM損失等。
在這方面，深度學(xué)習(xí)沒(méi)什么進(jìn)展，依然是采用了傳統(tǒng)機(jī)器學(xué)習(xí)的方式定義學(xué)習(xí)的目標(biāo)。
優(yōu)化方法
優(yōu)化方法就是求解上面最小化問(wèn)題最優(yōu)解的過(guò)程，深度學(xué)習(xí)依然采用最初期的基于梯度下降的誤差反向傳播訓(xùn)練方法。當(dāng)然，因?yàn)榫W(wǎng)絡(luò)層數(shù)的增加，誤差在反向傳播的過(guò)程中很容易出現(xiàn)梯度消失或梯度爆炸的問(wèn)題，這也是基于梯度學(xué)習(xí)方法的局限，還有像多目標(biāo)優(yōu)化的問(wèn)題等。深度學(xué)習(xí)模型采用的優(yōu)化方法幾乎都是Adam或SGD+Momentum+學(xué)習(xí)率遞減。
可見(jiàn)，在優(yōu)化方法上，深度學(xué)習(xí)也沒(méi)有做出什么重要貢獻(xiàn)。
模型結(jié)構(gòu)
這部分正是深度學(xué)習(xí)的核心，即如何設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。在特定領(lǐng)域中應(yīng)用深度學(xué)習(xí)技術(shù)的關(guān)鍵是，如何設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，使最優(yōu)解保證在該結(jié)構(gòu)的表示空間中，并同時(shí)約束和減小解空間的大小。設(shè)計(jì)結(jié)構(gòu)這部分的工作無(wú)法由機(jī)器自動(dòng)完成，必需人工設(shè)計(jì)，而且也沒(méi)有什么理論指導(dǎo)，該用多少層網(wǎng)絡(luò)，每層多少個(gè)節(jié)點(diǎn)等等都來(lái)自經(jīng)驗(yàn)。
下面介紹在圖像領(lǐng)域的經(jīng)典深度網(wǎng)絡(luò)結(jié)構(gòu)：
圖像分類(lèi)
最初，深度學(xué)習(xí)收到關(guān)注的原因是，使用卷積神經(jīng)網(wǎng)絡(luò)的AlexNet在ImageNet比賽（百萬(wàn)張圖片，1000個(gè)類(lèi)別）中取得突破。原來(lái)神經(jīng)網(wǎng)絡(luò)之前效果不好，不是因?yàn)槟芰Σ粔?，而是?xùn)練數(shù)據(jù)不足，GPU不夠，使其能力發(fā)揮不出來(lái)。后來(lái)，網(wǎng)絡(luò)的層數(shù)越來(lái)越深，并提出了Inception、殘差網(wǎng)絡(luò)的新連接結(jié)構(gòu)，在ImageNet數(shù)據(jù)上識(shí)別準(zhǔn)備率超過(guò)了人類(lèi)。
現(xiàn)在，我們希望用深度神經(jīng)網(wǎng)絡(luò)做圖像分類(lèi)任務(wù)時(shí)，可以不需要大量數(shù)據(jù)。使用用ImageNet數(shù)據(jù)集訓(xùn)練過(guò)的InceptionV2（V3），直接retrain或fine-tuning，收集數(shù)據(jù)每個(gè)類(lèi)別幾百?gòu)垐D片，就可以訓(xùn)練出一個(gè)不錯(cuò)的分類(lèi)器，可以達(dá)到80-90%左右準(zhǔn)確度。
分類(lèi)任務(wù)中的樣本不平衡、多標(biāo)記等問(wèn)題依然存在。分類(lèi)器泛化到新類(lèi)別的能力仍需重新訓(xùn)練，目前在圖像分類(lèi)研究中，有利用不同類(lèi)別的語(yǔ)義信息，讓分類(lèi)器具有識(shí)別新的沒(méi)有訓(xùn)練樣本的類(lèi)的能力，即zero-shot learning。
目標(biāo)識(shí)別
目標(biāo)識(shí)別包括兩個(gè)任務(wù)，獲取物體的位置并識(shí)別其類(lèi)別，前者是個(gè)回歸問(wèn)題，后者是分類(lèi)問(wèn)題，所以模型的學(xué)習(xí)目標(biāo)是多個(gè)的。模型的設(shè)計(jì)困難是如何獲取可能出現(xiàn)物體的box坐標(biāo)位置，RCNN直接在圖像上作region proposal，fast RCNN在卷積后的特征上作region proposal，faster RCNN學(xué)習(xí)一個(gè)神經(jīng)網(wǎng)絡(luò)作proposal，YOLO/SSD的方法不做proposal，直接劃分成S*S的網(wǎng)格，雖然識(shí)別速度很快，但識(shí)別精度較差。
在圖像的實(shí)際應(yīng)用中，目標(biāo)識(shí)別是很重要的，也是很多有趣應(yīng)用的開(kāi)始。在實(shí)際中，我們需要根據(jù)任務(wù)的不同，在識(shí)別的速度和精度之間平衡，選擇最適合的模型。
當(dāng)然，深度學(xué)習(xí)在圖像中的應(yīng)用還有很多有趣的部分，如和文本結(jié)合的看圖說(shuō)話（image caption）、視覺(jué)問(wèn)答（VQA），讓機(jī)器具有創(chuàng)造力的生成模型風(fēng)格遷移和GAN模型等。
放棄原因
- 貧窮限制了能力，這種需要大量標(biāo)記數(shù)據(jù)和GPU的工作還是交給有財(cái)力的大公司吧；
- 數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)方法的不穩(wěn)定和難遷移，可能幾個(gè)像素的微小變化就會(huì)使模型失效；
- 現(xiàn)實(shí)中的場(chǎng)景是無(wú)窮多的，與其花這么多人力物力將AI應(yīng)用到現(xiàn)實(shí)中，也許構(gòu)建一個(gè)理想的適合機(jī)器的環(huán)境更簡(jiǎn)單些（如自動(dòng)駕駛）；
- 這次AI的興起，商業(yè)的價(jià)值估計(jì)似乎遠(yuǎn)大于目前技術(shù)上的發(fā)展，過(guò)于樂(lè)觀；
- 對(duì)于智能的思考，我想除了從更大規(guī)模的角度上考慮，還有其他值得探索的地方。
