一、深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)為何火爆

深度學(xué)習(xí)和機(jī)器學(xué)習(xí)一個(gè)重要區(qū)別就是前者不需要做特征工程

例如，我們預(yù)測(cè)一個(gè)女明星會(huì)不會(huì)火， 以y來(lái)表示（y為0或者1），如果用機(jī)器學(xué)習(xí)我們需要做的特征工程是，用x來(lái)擬合。那么，比如x1是年齡，x2是顏值，x3是家庭背景，x4是畢業(yè)院校，x5是有沒(méi)有后臺(tái)。

深度學(xué)習(xí)的話(huà)，我們不需要人為做x1,x2....x5. 我們只要把輸入數(shù)據(jù)扔進(jìn)去（可能做一些預(yù)處理），神經(jīng)網(wǎng)絡(luò)會(huì)自己找到特征。

比如我們?nèi)舆M(jìn)去的就是這個(gè)明星的所有搜索結(jié)果文本。可能經(jīng)過(guò)簡(jiǎn)單的文本處理之后輸入，經(jīng)過(guò)深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，就能預(yù)測(cè)出來(lái)結(jié)果。

那么問(wèn)題來(lái)了。

1.為什么深度學(xué)習(xí)這么聰明可以自己學(xué)習(xí)特征呢

2.更神奇的是，為什么很多問(wèn)題上，深度學(xué)習(xí)學(xué)到的結(jié)果更靠譜呢

對(duì)于第一個(gè)問(wèn)題，讓我們想想《信號(hào)系統(tǒng)特征與處理》這門(mén)課，沒(méi)學(xué)過(guò)不要緊，想想中學(xué)物理課的電學(xué)實(shí)驗(yàn)部分，不是有濾波器嗎。我們?cè)谧鎏卣鞯臅r(shí)候，是不是在做信號(hào)處理。比如我們?nèi)ニ衙餍堑哪挲g，性別是個(gè)篩選。顏值啥的，可能會(huì)做個(gè)分類(lèi)聚類(lèi)，然后正則化到一個(gè)1-10的分值打個(gè)分。這些都是信號(hào)處理（輸入一個(gè)東西，經(jīng)過(guò)一個(gè)變換以后，輸出另外一個(gè)東西。哪個(gè)變換就是一個(gè)函數(shù)嘛）

也就是說(shuō)，在我們用機(jī)器學(xué)習(xí)做特征的時(shí)候，我們是對(duì)原始信息，根據(jù)我們的主觀(guān)經(jīng)驗(yàn)進(jìn)行了一些信號(hào)處理（函數(shù)變換）。這種處理可能靠譜，也可能不靠譜。

而神經(jīng)網(wǎng)絡(luò)，在它的每一層，其實(shí)就是自己在做特征。

之所以能學(xué)習(xí)特征是因?yàn)椋拷?jīng)過(guò)一層神經(jīng)網(wǎng)絡(luò)，更能減少cost function的處理方法會(huì)更受青睞，而在這一層中增加cost function效果不好的處理方法我們就遠(yuǎn)離它（但是沒(méi)有完全扔掉它哦，因?yàn)榭赡芩鼤?huì)在下一層有用呢）

形象的來(lái)說(shuō)，機(jī)器學(xué)習(xí)是手工作坊作業(yè)，手工藝人做個(gè)花籃子，從選材料到成品都是自己在做。而深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)是工廠(chǎng)流水線(xiàn)作業(yè)，第一個(gè)車(chē)間的人干粗活，做的特征比較粗糙，然后把結(jié)果扔給第二個(gè)車(chē)間的，第二個(gè)車(chē)間工人們做的活要精細(xì)一些，越到后面的車(chē)間工人的手藝越精細(xì)。

另外一個(gè)區(qū)別就是，手工作業(yè)的機(jī)器學(xué)習(xí)靠直覺(jué)做特征，主觀(guān)性比較強(qiáng)。車(chē)間作業(yè)的深度學(xué)習(xí)，它每個(gè)車(chē)間都有一個(gè)類(lèi)似刻度表的東西，告訴你哪個(gè)指標(biāo)超了，哪個(gè)不夠，工人們看著超了的話(huà)就減少一些，不夠的話(huà)就?一些

但是神經(jīng)網(wǎng)絡(luò)做特征的方法，不是先入為主的認(rèn)為，什么年齡性別就是決定性要素了，它是一層層學(xué)習(xí)出來(lái)的，它學(xué)習(xí)到的特征是有層次的，由抽象到具體。

對(duì)于第二個(gè)問(wèn)題，神經(jīng)網(wǎng)絡(luò)之所以如此智能應(yīng)該是因?yàn)椤?/p>

1.神經(jīng)網(wǎng)絡(luò)的”自動(dòng)特征工程“效率更高

神經(jīng)網(wǎng)絡(luò)會(huì)自己去發(fā)現(xiàn)特征。他的發(fā)現(xiàn)過(guò)程是比較客觀(guān)的。像之前所說(shuō)的，他不會(huì)先入為主的認(rèn)為，什么年齡性別就是決定性要素了，它是一層層學(xué)習(xí)出來(lái)的。

2. 神經(jīng)網(wǎng)絡(luò)的特征發(fā)現(xiàn)更客觀(guān)

機(jī)器學(xué)習(xí)人為做特征工程的時(shí)候，其實(shí)人為的篩掉了一些信息。比如，可能你關(guān)注了這個(gè)明星的年齡體重顏值之類(lèi)的，學(xué)習(xí)出來(lái)的效果并不好。因?yàn)槿藗兏緵](méi)有抓到真正的影響因素，比如其實(shí)明星紅不紅取決于，她是不是王思聰前女友，以及經(jīng)紀(jì)公司是哪家。這些如果是決定因素，你沒(méi)有想到，那就可能捕捉不到真正的結(jié)果。相當(dāng)于人在做特征工程的時(shí)候，過(guò)濾掉了這些關(guān)鍵信息。

而深度學(xué)習(xí)，因?yàn)闆](méi)有做特征工程，一開(kāi)始進(jìn)去的是所有的raw data, 雖然不能說(shuō)一開(kāi)始就學(xué)習(xí)到"是不是王思聰前女友，以及經(jīng)紀(jì)公司是哪家“這幾個(gè)特征， 但是源數(shù)據(jù)的文本其實(shí)比較粗糙的蘊(yùn)含著這樣的信息，雖然第一層抽取不出來(lái)這樣的特征，但是給定合適量的”神經(jīng)網(wǎng)絡(luò)工人“ ，足夠的”神經(jīng)網(wǎng)絡(luò)車(chē)間“流水化處理，能得到很好的結(jié)果也不難理解。

3.深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)不需要人造函數(shù)

機(jī)器學(xué)習(xí)里面比較復(fù)雜的模型SVM（支持向量機(jī)）在2011年博主本科做項(xiàng)目的時(shí)候火到不行，當(dāng)時(shí)Andrew Ng拿這個(gè)做為斯坦福機(jī)器學(xué)習(xí)課程的壓軸戲。

這算法完整講清楚，A4紙不要四頁(yè)也得三頁(yè)了，劇情此起彼伏像個(gè)小電視劇。但是最困惑的就是你怎么去找核函數(shù)，核函數(shù)也可以叫基函數(shù)。我們知道線(xiàn)性代數(shù)里面有空間向量的基，基函數(shù)就是把這里的向量換成函數(shù)。通過(guò)一個(gè)變換就可以把非線(xiàn)性函數(shù)降維成線(xiàn)性了。那么當(dāng)時(shí)最迷茫的就是，你怎么去找這個(gè)基函數(shù)啊！

傳統(tǒng)機(jī)器學(xué)習(xí)還有一個(gè)問(wèn)題就是，如果問(wèn)題比較非線(xiàn)性的話(huà)，看起來(lái)就是你的黑魔法（我是說(shuō)你的模型）越復(fù)雜，好像就越牛逼了，比如復(fù)雜的SVM不是可以擬合非線(xiàn)性挺好的么。那更復(fù)雜的問(wèn)題豈不是依賴(lài)更復(fù)雜的模型，那么發(fā)現(xiàn)這個(gè)模型（我也叫他函數(shù)）的人是誰(shuí)？ 還是人啊。

所以，特征是人找的，函數(shù)模型也是人造的，所以機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)你到底學(xué)習(xí)了啥。。。只不過(guò)是在學(xué)習(xí)權(quán)重而已。如果沒(méi)有出現(xiàn)愛(ài)因斯坦一樣的神人，豈不是某個(gè)犄角旮旯里的神奇模型永遠(yuǎn)都找不到。所以這個(gè)是不是該叫，人工學(xué)習(xí)？？？

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)可以擬合很多很多的函數(shù)模型，這樣發(fā)現(xiàn)函數(shù)模型的工作也由機(jī)器來(lái)做了。

綜上所述，深度學(xué)習(xí)可以自己發(fā)現(xiàn)特征，自己發(fā)現(xiàn)函數(shù)。他對(duì)特征和函數(shù)的搜索范圍更廣，評(píng)價(jià)標(biāo)準(zhǔn)更客觀(guān)，所以效率更高。

比較巧妙的是，本來(lái)特征工程和模型選擇是不同的步驟，在深度學(xué)習(xí)中，這些放到一起來(lái)自動(dòng)發(fā)現(xiàn)，就是所謂的端到端。為什么能放到一起來(lái)做呢？ 個(gè)人認(rèn)為是因?yàn)?，不論是特征選擇還是模型選擇，都是一種信號(hào)處理，本質(zhì)上是一樣的。

二、量子計(jì)算機(jī)

最近有小學(xué)妹問(wèn)博主，為什么量子計(jì)算機(jī)有希望解決深度學(xué)習(xí)面臨的算力問(wèn)題。

這一開(kāi)始要說(shuō)到，摩爾定律。說(shuō)好的╮(╯_╰)╭每十八個(gè)月翻倍。

現(xiàn)在晶體管已經(jīng)非常非常小，小到進(jìn)入了量子力學(xué)的范疇了。

于是就會(huì)發(fā)生神奇的事情。

大家知道二進(jìn)制，一個(gè)位置不是0就是1。到了量子力學(xué)范疇，是1的可以是0，是0的可以是1。

可以想象以前的比特，是一張張的紙，上面寫(xiě)了0和1。 而量子比特（Qbyte）每個(gè)位置上都是在投擲硬幣，正面是1反面是0

比如你有兩個(gè)比特。傳統(tǒng)計(jì)算機(jī)存儲(chǔ)著10 這個(gè)數(shù)字，代表的是十進(jìn)制的2

而兩個(gè)量子比特， 你可以存儲(chǔ) 11，10，01，00 這四個(gè)數(shù)字。

n個(gè)量子比特，就可以存儲(chǔ)2的n次方

到了運(yùn)算的時(shí)候，比如我們還是用兩個(gè)比特來(lái)存數(shù)字。傳統(tǒng)計(jì)算機(jī)存著10這個(gè)數(shù)字，所以對(duì)它實(shí)施一次操作，只能變換一個(gè)數(shù)據(jù)，運(yùn)算某個(gè)函數(shù)，必須連續(xù)實(shí)施多次操作。這些操作是在不同的“兩個(gè)比特”位置之間進(jìn)行的。

那么問(wèn)題來(lái)了。對(duì)于量子計(jì)算機(jī)，我們?cè)谖覀兡M的“兩個(gè)比特”中存儲(chǔ)了四個(gè)數(shù)字?！皀個(gè)比特”中存儲(chǔ)了2的n次方個(gè)數(shù)字。

那么你有n個(gè)憤怒的硬幣，不斷的在變化，假如你要算二進(jìn)制的 11 和10，你怎么就能讓操作調(diào)皮的量子，取出來(lái)的是11和10， 而不是00和01

就好像你在拋擲很多個(gè)骰子，數(shù)字123我們算“小”（也就是0）,數(shù)字456是“大”（相當(dāng)于1）。那么你想取11就是11，想取10就是10，那豈不是想要大就大，想要小就小了。那么總得有一個(gè)控制隨機(jī)性，出老千的方法吧。

個(gè)人認(rèn)為，這就是量子計(jì)算機(jī)的瓶頸吧