作者：降曉冉

轉(zhuǎn)載自https://zhuanlan.zhihu.com/p/26855333

【嵌牛導(dǎo)讀】神經(jīng)網(wǎng)絡(luò)從何而來？這里說的『從何而來』，并不僅僅是從技術(shù)上去介紹一個(gè)方法的創(chuàng)造或發(fā)展，而更想探討方法背后所蘊(yùn)含的思想基礎(chǔ)與演變之路。

【嵌牛鼻子】神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)

【嵌牛提問】神經(jīng)網(wǎng)絡(luò)的由來？

【嵌牛正文】深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)是近幾年來計(jì)算機(jī)與人工智能領(lǐng)域最炙手可熱的話題了。為了蹭這波熱度，博主也打算分享一些自己的經(jīng)驗(yàn)與思考。第一篇文章想探討一個(gè)非?；A(chǔ)的問題：神經(jīng)網(wǎng)絡(luò)從何而來？這里說的『從何而來』，并不僅僅是從技術(shù)上去介紹一個(gè)方法的創(chuàng)造或發(fā)展，而更想探討方法背后所蘊(yùn)含的思想基礎(chǔ)與演變之路。

首先，需要為『神經(jīng)網(wǎng)絡(luò)』正一下名。在人工智能領(lǐng)域，我們通常所說的神經(jīng)網(wǎng)絡(luò)（Neural Networks）全稱是人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network），與之對(duì)應(yīng)的是我們用肉長成的生物神經(jīng)網(wǎng)絡(luò)（Biology Neural Network）。眾所周知，人工神經(jīng)網(wǎng)絡(luò)受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)而產(chǎn)生，并在幾十年間不斷進(jìn)步演化?？梢撊祟悓?duì)人工智能的探索歷史，卻遠(yuǎn)遠(yuǎn)長于這幾十年。為了深刻了解神經(jīng)網(wǎng)絡(luò)出現(xiàn)的背景，我們有必要從更早的歷史開始說起。

簡單說，人工智能想做的事情就是去總結(jié)和提煉人類思考的過程，使之能夠機(jī)械化、可重復(fù)。從各種神話、傳說來看，我們的祖先在幾千年前就對(duì)這件事兒充滿了好奇與遐想。到兩千多年前，一大批偉大的哲學(xué)家在希臘、中國和印度相繼誕生，并將人類對(duì)這一問題的認(rèn)識(shí)推向了新的高度。為避免本文成為枯燥的哲學(xué)史，這里不想舉太多的例子。偉大的希臘哲學(xué)家亞里士多德在他的《前分析篇》中提出了著名的三段論（sollygism），類似于：

所有希臘人是人

所有人終有一死

因此所有希臘人終有一死

雖然這是我們現(xiàn)在已經(jīng)無比熟悉的推理模式，但是要在2000年前從無到有系統(tǒng)總結(jié)出一系列這樣的命題與推理模式，卻著實(shí)不易。有了『三段論』這種的武器，人們對(duì)問題的認(rèn)識(shí)與決策就能從感性真正走向理性，做到可以重復(fù)。此外，我們熟悉的歐式幾何也是當(dāng)時(shí)這種邏輯推理學(xué)派的代表。歐式幾何以一系列的公理為基礎(chǔ)，基于一套嚴(yán)密的邏輯推理體系，最終得到結(jié)論的證明，現(xiàn)在仍然是每個(gè)學(xué)生需要反復(fù)訓(xùn)練的思維體操。

隨著時(shí)間的演進(jìn)，認(rèn)知哲學(xué)與邏輯學(xué)也在不斷的發(fā)展。在17世紀(jì)時(shí)，以笛卡爾、萊布尼茨為代表的哲學(xué)家進(jìn)一步提出通過數(shù)學(xué)的方式對(duì)邏輯推演進(jìn)行標(biāo)準(zhǔn)化，這也是對(duì)人腦推理與思考的再次抽象，為后續(xù)以后基于數(shù)字電路的人工智能打下了基礎(chǔ)。之后，數(shù)理邏輯進(jìn)一步發(fā)展，而到了20世紀(jì)中期，數(shù)理邏輯又一次取得了巨大的突破，哥德爾不完備理論、圖靈機(jī)模型等的相繼提出，科學(xué)家們既認(rèn)識(shí)到了數(shù)理邏輯的局限性，也看到了將推理機(jī)械化的無限可能性，一種新的計(jì)算方式呼之欲出。

在圖靈機(jī)的思想指導(dǎo)下，第一臺(tái)電子計(jì)算機(jī)很快被設(shè)計(jì)出來，為人工智能的真正實(shí)現(xiàn)提供了物質(zhì)上的基礎(chǔ)。其實(shí)回望人工智能歷史上的歷次重大飛躍，硬件技術(shù)的發(fā)展無不扮演者重要的作用。很多看似有效的算法都苦于沒有足夠強(qiáng)大的計(jì)算平臺(tái)支持無疾而終，而計(jì)算能力的提升也可以促進(jìn)科學(xué)家們們擺脫束縛，在算法的研究道路上天馬行空。深度學(xué)習(xí)這些年的迅猛發(fā)展，很大程度就是得益于大規(guī)模集群和圖形處理器等技術(shù)的成熟，使得用復(fù)雜模型快速處理大規(guī)模數(shù)據(jù)成為可能。

1956年達(dá)特茅斯會(huì)議上，斯坦福大學(xué)科學(xué)家約翰·麥卡錫（John McCarthy）正式提出了『人工智能』這一概念， 標(biāo)志著一個(gè)學(xué)科的正式誕生，也標(biāo)志著人工智能的發(fā)展開始進(jìn)入了快車道。如果說邏輯符號(hào)操作是對(duì)人類思維的本質(zhì)的抽象，那么利用電子計(jì)算機(jī)技術(shù)來模擬人類的符號(hào)推理計(jì)算也是一個(gè)自然而然的想法。在艾倫·紐威爾（Alan Newell）和赫伯特·西蒙（Herbert A.Simon）等大師的推動(dòng)下，以邏輯推演為核心符號(hào)主義（symbolicism）流派很快占據(jù)了人工智能領(lǐng)域的重要地位。符號(hào)主義在很多領(lǐng)域取得了成功，比如在80年代風(fēng)靡一時(shí)的專家系統(tǒng)，通過知識(shí)庫和基于知識(shí)庫的推理系統(tǒng)模擬專家進(jìn)行決策，得到了廣泛的應(yīng)用。而本世紀(jì)初熱炒的語義網(wǎng)絡(luò)以及當(dāng)下最流行的知識(shí)圖譜，也可以看做這一流派的延續(xù)與發(fā)展。

符號(hào)主義最大的特點(diǎn)是知識(shí)的表示直觀，推理的過程清晰，但是也存在著許多局限性。除去在計(jì)算能力方面的困擾，一個(gè)很大的問題就在于雖然我們可以通過邏輯推理解決一些復(fù)雜的問題，但是對(duì)一些看似簡單的問題，比如人臉識(shí)別，卻無能為力。當(dāng)看到一張人臉的照片，我們可以毫不費(fèi)力的識(shí)別出這個(gè)人是誰，可這個(gè)過程并不需要做什么復(fù)雜的推理，它在我們的大腦中瞬間完成，以至于我們對(duì)這個(gè)過程的細(xì)節(jié)卻一無所知。看起來想通過挖掘一系列嚴(yán)密的推理規(guī)則解決這類問題是相對(duì)困難的，這也促使很多人去探索與人腦工作更加貼合的解決方案。實(shí)際上在符號(hào)主義出現(xiàn)的同時(shí)，人工智能的另一重要學(xué)派聯(lián)結(jié)主義（Connectionism）也開始蓬勃發(fā)展，本文的『主角』神經(jīng)網(wǎng)絡(luò)終于可以登場(chǎng)了。

在文章的一開始就提到，我們現(xiàn)在所說的人工神經(jīng)網(wǎng)絡(luò)是受生物神經(jīng)網(wǎng)絡(luò)啟發(fā)而設(shè)計(jì)出來的。在1890年，實(shí)驗(yàn)心理學(xué)先驅(qū)William James在他的巨著《心理學(xué)原理》中第一次詳細(xì)論述人腦結(jié)構(gòu)及功能。其中提到神經(jīng)細(xì)胞受到刺激激活后可以把刺激傳播到另一個(gè)神經(jīng)細(xì)胞，并且神經(jīng)細(xì)胞激活是細(xì)胞所有輸入疊加的結(jié)果。這一后來得到驗(yàn)證的假說也成為了人工神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的生物學(xué)基礎(chǔ)?；谶@一假說，一系列模擬人腦神經(jīng)計(jì)算的模型被相繼提出，具有代表性的有Hebbian Learning Rule, Oja's Rule和MCP Neural Model等，他們與現(xiàn)在通用的神經(jīng)網(wǎng)絡(luò)模型已經(jīng)非常相似，例如在Hebbian Learning模型中，已經(jīng)可以支持神經(jīng)元之間權(quán)重的自動(dòng)學(xué)習(xí)。而在1958年，Rosenblatt將這些模型付諸于實(shí)施，利用電子設(shè)備構(gòu)建了真正意義上的第一個(gè)神經(jīng)網(wǎng)絡(luò)模型：感知機(jī)（Perceptron）。Rosenblatt現(xiàn)場(chǎng)演示了其學(xué)習(xí)識(shí)別簡單圖像的過程，在當(dāng)時(shí)的社會(huì)引起了轟動(dòng)，并帶來了神經(jīng)網(wǎng)絡(luò)的第一次大繁榮。此后的幾十年里，神經(jīng)網(wǎng)絡(luò)又經(jīng)歷了數(shù)次起起伏伏，既有春風(fēng)得意一統(tǒng)天下的歲月，也有被打入冷宮無人問津的日子，當(dāng)然，這些都是后話了。

本文更想討論這樣一個(gè)問題：神經(jīng)網(wǎng)絡(luò)產(chǎn)生的動(dòng)機(jī)僅僅是對(duì)生物學(xué)中對(duì)神經(jīng)機(jī)制的模仿嗎？在神經(jīng)網(wǎng)絡(luò)產(chǎn)生的背后，還蘊(yùn)含著一代代科學(xué)家怎么樣的思想與情懷呢？事實(shí)上，在神經(jīng)網(wǎng)絡(luò)為代表的一類方法在人工智能中又被稱為聯(lián)結(jié)主義（Connectionism）。關(guān)于聯(lián)結(jié)主義的歷史，一般的文獻(xiàn)介紹按照慣例會(huì)追溯到希臘時(shí)期哲學(xué)家們對(duì)關(guān)聯(lián)性的定義與研究，例如我們的老朋友亞里士多德等等。然而當(dāng)時(shí)哲學(xué)家研究的關(guān)聯(lián)其實(shí)并不特指神經(jīng)元之間的這種關(guān)聯(lián)，比如前文提到的符號(hào)推理本身也是一種形式關(guān)聯(lián)，在希臘哲學(xué)中并沒有對(duì)這兩者進(jìn)行專門的區(qū)分。所以硬要把這些說成是連接主義的思想起源略微有一些牽強(qiáng)。

前文提到，在數(shù)理邏輯發(fā)展過程中，17世紀(jì)的歐陸理性主義起到了重要的作用。以笛卡爾、萊布尼茨等為代表的哲學(xué)家，主張?jiān)诶硇灾写嬖谥熨x觀念，以此為原則并嚴(yán)格按照邏輯必然性進(jìn)行推理就可以得到普遍必然的知識(shí)。與此同時(shí)，以洛克、休謨等哲學(xué)家為代表的英國經(jīng)驗(yàn)主義，則強(qiáng)調(diào)人類的知識(shí)來自于對(duì)感知和經(jīng)驗(yàn)歸納。這一定程度上是對(duì)絕對(duì)的真理的一種否定，人類的認(rèn)識(shí)是存在主觀的，隨經(jīng)驗(yàn)而變化的部分的。如果在這個(gè)思想的指導(dǎo)下，我們與其去尋找一套普世且完備的推理系統(tǒng)，不如去構(gòu)造一套雖不完美但能夠隨著經(jīng)驗(yàn)積累不斷完善的學(xué)習(xí)系統(tǒng)。而休謨甚至提出了放棄揭示自然界的因果聯(lián)系和必然規(guī)律，而是依據(jù)“習(xí)慣性聯(lián)想”去描繪一連串的感覺印象。這其實(shí)和神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的初衷是非常類似的：重視經(jīng)驗(yàn)的獲得與歸納（通過樣本進(jìn)行學(xué)習(xí)），但對(duì)模型本身的嚴(yán)謹(jǐn)性與可解釋行則沒有那么關(guān)注，正如有時(shí)候我們?cè)敢獍焉窠?jīng)網(wǎng)絡(luò)模型看做是一個(gè)『黑箱』。

然而單單一個(gè)『黑箱』是不能成為經(jīng)驗(yàn)的學(xué)習(xí)與整理的系統(tǒng)的，我們還需要去尋找構(gòu)建『黑箱』的一種方法論?，F(xiàn)代哲學(xué)發(fā)展到20世紀(jì)初期時(shí)，在維特根斯坦和羅素等哲學(xué)家的倡導(dǎo)下，產(chǎn)生了邏輯經(jīng)驗(yàn)主義學(xué)派。依托當(dāng)時(shí)邏輯學(xué)的迅猛發(fā)展，這一主義既強(qiáng)調(diào)經(jīng)驗(yàn)的作用，也重視通過嚴(yán)密的邏輯推理來得到結(jié)論，而非簡單的歸納。在數(shù)理邏輯領(lǐng)域頗有建樹的羅素有一位大名鼎鼎的學(xué)生諾伯特·維納，他創(chuàng)立的控制論與系統(tǒng)論、信息論一道，為信息科學(xué)的發(fā)展提供了堅(jiān)實(shí)的理論基礎(chǔ)。而神經(jīng)網(wǎng)絡(luò)模型的創(chuàng)立也深受這『三論』的影響。前文提到MCP神經(jīng)元模型的兩位創(chuàng)始人分別是羅素和維納的學(xué)生。作為一個(gè)系統(tǒng)，神經(jīng)網(wǎng)絡(luò)接受外部的輸入，得到輸出，并根據(jù)環(huán)境進(jìn)行反饋，對(duì)系統(tǒng)進(jìn)行更新，直到達(dá)到穩(wěn)定狀態(tài)。這個(gè)過程，同樣也是神經(jīng)網(wǎng)絡(luò)對(duì)環(huán)境信息傳遞的接受和重新編碼的過程。如果如果把神經(jīng)網(wǎng)絡(luò)當(dāng)做一個(gè)『黑盒』，那么我們首先關(guān)心該是這個(gè)黑盒的輸入與輸出，以及如何根據(jù)環(huán)境給黑盒一個(gè)合理的反饋，使之能夠進(jìn)行調(diào)整。而黑盒內(nèi)部的結(jié)構(gòu)，則更多的成為了形式的問題。我們借鑒生物神經(jīng)網(wǎng)絡(luò)構(gòu)造這個(gè)黑盒，恰好是一個(gè)好的解決方案，但這未必是唯一的解決方案或者說與人類大腦的神經(jīng)元結(jié)構(gòu)存在必然的聯(lián)系。比如在統(tǒng)計(jì)學(xué)習(xí)領(lǐng)域中最著名的支持向量機(jī)（Support Vector Machines），最終是作為一種特殊的神經(jīng)網(wǎng)絡(luò)而提出的?？僧?dāng)其羽翼豐滿之后，則和神經(jīng)網(wǎng)絡(luò)逐漸脫離關(guān)系，開啟了機(jī)器學(xué)習(xí)的另一個(gè)門派。不同的模型形式之間可以互相轉(zhuǎn)化，但是重視經(jīng)驗(yàn)（樣本），強(qiáng)調(diào)反饋的思想?yún)s一直保留下來。

前面說了這些，到底神經(jīng)網(wǎng)絡(luò)從何而來呢？總結(jié)下來就是三個(gè)方面吧：1.對(duì)理性邏輯的追求，對(duì)樣本實(shí)證的重視，為神經(jīng)網(wǎng)絡(luò)的誕生提供了思想的基礎(chǔ)。2.生物學(xué)與神經(jīng)科學(xué)的發(fā)展為神經(jīng)網(wǎng)絡(luò)形式的出現(xiàn)提供了啟發(fā)。3.計(jì)算機(jī)硬件的發(fā)展與計(jì)算能力的提升使神經(jīng)網(wǎng)絡(luò)從理想變成了現(xiàn)實(shí)。而這三方面的發(fā)展也催生著神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展與深度學(xué)習(xí)的成熟：更大規(guī)模的數(shù)據(jù)，更完善的優(yōu)化算法使網(wǎng)絡(luò)能夠?qū)W習(xí)到更多更準(zhǔn)確的信息；對(duì)人腦的認(rèn)識(shí)的提升啟發(fā)設(shè)計(jì)出層次更深，結(jié)構(gòu)更高效的網(wǎng)絡(luò)結(jié)構(gòu)；硬件存儲(chǔ)與計(jì)算能力提升使海量數(shù)據(jù)的高效訓(xùn)練成為可能。而未來神經(jīng)網(wǎng)絡(luò)給我們帶來的更多驚喜，也很大可能源自于這三個(gè)方面，讓我們不妨多一些期待吧。