1.什么是深度學(xué)習(xí)
????????深度學(xué)習(xí)是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的一種方法，可以訓(xùn)練很深的神經(jīng)網(wǎng)絡(luò)，屬于機(jī)器學(xué)習(xí)分支。
2.什么是神經(jīng)網(wǎng)絡(luò)
????????下面是個(gè)房子預(yù)測例子。
????????根據(jù)價(jià)格隨房子大小變化，可以繪制出藍(lán)線，藍(lán)線可以看成房子價(jià)格預(yù)測的擬合函數(shù)，這就是一個(gè)最簡單的神經(jīng)網(wǎng)絡(luò)。
????????如圖1.2，把房子大小作為神經(jīng)網(wǎng)絡(luò)輸入，價(jià)格作為神經(jīng)網(wǎng)絡(luò)輸出，中間圓圈就是獨(dú)立神經(jīng)元，神經(jīng)元負(fù)責(zé)運(yùn)算輸入并得到輸出。
????????大的神經(jīng)網(wǎng)絡(luò)也是通過小神經(jīng)網(wǎng)絡(luò)搭建起來，就像樂高積木一樣一個(gè)個(gè)堆疊起來。
????????如圖1.3，這是稍大一點(diǎn)的神經(jīng)網(wǎng)絡(luò)，是由多個(gè)圖1.2神經(jīng)網(wǎng)絡(luò)搭建起來，其中的小圓圈是ReLU函數(shù)（全稱是修正線性單元，修正指的是取不小于零的值）或者其他函數(shù)。輸入為房子大小、臥室數(shù)量、郵政編碼、富裕程度，其中房子大小和臥室數(shù)量體現(xiàn)了家庭大小，郵政編碼體現(xiàn)了步行化程度，郵政編碼和富裕程度體現(xiàn)了附近學(xué)校質(zhì)量，然后再由家庭大小、步行化程度和附近學(xué)校質(zhì)量得到房子價(jià)格。神經(jīng)網(wǎng)絡(luò)搭建完成后，我們只負(fù)責(zé)輸入和得到輸出，中間部分神經(jīng)網(wǎng)絡(luò)自己運(yùn)算。
????????由圖1.3我們得到圖1.4，其中的小圓圈規(guī)范化叫法是隱藏單元。在深度學(xué)習(xí)中，我們并不知道也不假設(shè)哪個(gè)隱藏單元代表家庭大小，哪個(gè)隱藏單元代表學(xué)校質(zhì)量等，這些都交給深度學(xué)習(xí)自己去處理，我們負(fù)責(zé)喂給神經(jīng)網(wǎng)絡(luò)足夠輸入就好。
3.用神經(jīng)網(wǎng)絡(luò)進(jìn)行監(jiān)督學(xué)習(xí)
????????目前幾乎所有由神經(jīng)網(wǎng)絡(luò)創(chuàng)造的經(jīng)濟(jì)價(jià)值都是基于一種機(jī)器學(xué)習(xí)，稱之為監(jiān)督學(xué)習(xí)。
????????如圖1.5，監(jiān)督學(xué)習(xí)應(yīng)用領(lǐng)域有房地產(chǎn)、廣告、圖片處理、語音識別、翻譯、自動(dòng)駕駛等，其中房地產(chǎn)和廣告使用全連接神經(jīng)網(wǎng)絡(luò)（標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)，縮寫NN）；圖片處理使用卷起神經(jīng)網(wǎng)絡(luò)（縮寫CNN）；語音識別和翻譯輸入是序列數(shù)據(jù)，使用循環(huán)神經(jīng)網(wǎng)絡(luò)（縮寫RNN）；自動(dòng)駕駛涉及內(nèi)容較多（圖像處理、雷達(dá)數(shù)據(jù)處理等），使用混合神經(jīng)網(wǎng)絡(luò)。
????????下圖粗略展示了各神經(jīng)網(wǎng)絡(luò)的形狀
????????機(jī)器學(xué)習(xí)可以應(yīng)用于結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。
????????如圖1.7，應(yīng)用于結(jié)構(gòu)化數(shù)據(jù)的例子有廣告系統(tǒng)、房子價(jià)格預(yù)測等，應(yīng)用于非結(jié)構(gòu)化數(shù)據(jù)的例子有語音識別、圖像處理、翻譯等。
4.為什么深度學(xué)習(xí)會興起
????????深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)背后的技術(shù)理念已有幾十年，為什么會突然興起？
????????如圖1.8，橫軸代表完成任務(wù)的數(shù)據(jù)量，縱軸代表機(jī)器學(xué)習(xí)算法的性能。其中紅線是傳統(tǒng)機(jī)器學(xué)習(xí)算法（僅用一個(gè)支持向量機(jī)或logistic回歸等作為數(shù)據(jù)量的函數(shù)），黃線是小型神經(jīng)網(wǎng)絡(luò)，藍(lán)線是中性神經(jīng)網(wǎng)絡(luò)，綠線是大型神經(jīng)網(wǎng)絡(luò)。從中可以看出，數(shù)據(jù)量越大，神經(jīng)網(wǎng)絡(luò)越大，則學(xué)習(xí)算法表現(xiàn)越好。在過去二十年，收集海量數(shù)據(jù)特別艱難，小量的數(shù)據(jù)在傳統(tǒng)機(jī)器學(xué)習(xí)表現(xiàn)得往往更好。如今數(shù)據(jù)大爆發(fā)，收集數(shù)據(jù)輕而易舉。隨著任務(wù)數(shù)據(jù)量的增加，傳統(tǒng)機(jī)器學(xué)習(xí)表現(xiàn)不佳，從而需要不斷擴(kuò)大神經(jīng)網(wǎng)絡(luò)規(guī)模（包含許多隱藏單元、許多參數(shù)、許多連接），不斷改善算法，也就成了今天的深度學(xué)習(xí)，數(shù)據(jù)量增多、計(jì)算機(jī)計(jì)算能力進(jìn)展和算法改進(jìn)是深度學(xué)習(xí)興起的主要原因。
????????如圖1.9，算法迭代過程是有想法接著編碼然后驗(yàn)證再接著修改再驗(yàn)證的過程。
????????學(xué)習(xí)算法必須考慮兩件事才能達(dá)到高水平的性能：
????????1.能夠訓(xùn)練足夠大的神經(jīng)網(wǎng)絡(luò)
????????2.大量的標(biāo)記數(shù)據(jù)
