追根溯源，神經(jīng)網(wǎng)絡(luò)誕生于人類對(duì)于人腦和智能的追問。而這個(gè)追問經(jīng)歷了曠遠(yuǎn)蒙昧的精神至上學(xué)說(shuō)，直到 19 世紀(jì) 20 年代。
奧地利醫(yī)生 Franz Joseph Gall （ 1758-1828 ） 推測(cè)人類的精神活動(dòng)是由腦的功能活動(dòng)而實(shí)現(xiàn)的，這才使人們認(rèn)識(shí)到意識(shí)和精神活動(dòng)具有物質(zhì)基礎(chǔ)，從而使人們對(duì)精神活動(dòng)的認(rèn)識(shí)從唯心主義的錯(cuò)誤觀點(diǎn)轉(zhuǎn)到了唯物主義的正確軌道上來(lái)。
意大利細(xì)胞學(xué)家 Camillo Golgi （ 1843~1926 ）徒手將腦組織切成薄片，用重鉻酸鉀 - 硝酸銀浸染法染色，第一次在顯微鏡下觀察到了神經(jīng)細(xì)胞和神經(jīng)膠質(zhì)細(xì)胞。這為神經(jīng)科學(xué)的研究提供了最為基本的組織學(xué)方法。
西班牙神經(jīng)組織學(xué)家 Santiago Ramón y Cajal （ 1852~1934 ）在掌握了 Golgi 染色法后，又進(jìn)一步改良了 Golgi 染色法，并發(fā)明了獨(dú)創(chuàng)的銀染法——還原硝酸銀染色法， 此法可顯示神經(jīng)纖維的微細(xì)結(jié)構(gòu) 。他發(fā)現(xiàn)神經(jīng)細(xì)胞之間沒有原生質(zhì)的聯(lián)系，因而提出神經(jīng)細(xì)胞是整個(gè)神經(jīng)活動(dòng)最基本的單位（故稱神經(jīng)元），從而使復(fù)雜的神經(jīng)系統(tǒng)有了進(jìn)一步研究的切入口。他對(duì)于大腦的微觀結(jié)構(gòu)研究是開創(chuàng)性的，被許多人認(rèn)為是現(xiàn)代神經(jīng)科學(xué)之父。他繪圖技能出眾，他的關(guān)于腦細(xì)胞的幾百個(gè)插圖至今用于教學(xué)。
為此，Santiago Ramón y Cajal 和 Camillo Golgi?兩人共享了 1906 年諾貝爾生理學(xué)或醫(yī)學(xué)獎(jiǎng)。
此后， Cajal 經(jīng)過(guò)大量精細(xì)的實(shí)驗(yàn)，創(chuàng)立了 “ 神經(jīng)元學(xué)說(shuō) ” ，該學(xué)說(shuō)的創(chuàng)立為神經(jīng)科學(xué)的進(jìn)一步發(fā)展開創(chuàng)了新紀(jì)元。
對(duì)智能機(jī)器的探索和計(jì)算機(jī)的歷史一樣古老。盡管中文里“電腦”一開始就擁有了“腦”的頭銜，但事實(shí)上與真正的智能相去甚遠(yuǎn)。艾倫圖靈在他的文章《COMPUTING MACHINERY AND INTELLIGENCE》中提出了幾個(gè)標(biāo)準(zhǔn)來(lái)評(píng)估一臺(tái)機(jī)器是否可以被認(rèn)為是智能的，從而被稱為“圖靈測(cè)試”。
神經(jīng)元及其連接里也許藏著智能的隱喻，沿著這條路線前進(jìn)的人被稱為連接主義。
1943年，Warren McCulloch 和 Walter Pitts 發(fā)表題為《A Logical Calculus of the Ideas Immanent in Nervous Activity》的論文，首次提出神經(jīng)元的M-P模型。該模型借鑒了已知的神經(jīng)細(xì)胞生物過(guò)程原理，是第一個(gè)神經(jīng)元數(shù)學(xué)模型，是人類歷史上第一次對(duì)大腦工作原理描述的嘗試。
M-P模型的工作原理是神經(jīng)元的輸入信號(hào)加權(quán)求和，與閾值比較再?zèng)Q定神經(jīng)元是否輸出。這是從原理上證明了人工神經(jīng)網(wǎng)絡(luò)可以計(jì)算任何算術(shù)和邏輯函數(shù)。
20世紀(jì)40年代末，Donald Olding Hebb在《The Organization of Behavior》中對(duì)神經(jīng)元之間連接強(qiáng)度的變化進(jìn)行了分析，首次提出來(lái)一種調(diào)整權(quán)值的方法，稱為Hebb學(xué)習(xí)規(guī)則。
Hebb學(xué)習(xí)規(guī)則主要假定機(jī)體的行為可以由神經(jīng)元的行為來(lái)解釋。Hebb受啟發(fā)于巴普羅夫的條件反射實(shí)驗(yàn)，認(rèn)為如果兩個(gè)神經(jīng)元在同一時(shí)刻被激發(fā)，則它們之間的聯(lián)系應(yīng)該被強(qiáng)化。這就是Hebb提出的生物神經(jīng)元的學(xué)習(xí)機(jī)制，在這種學(xué)習(xí)中，由對(duì)神經(jīng)元的重復(fù)刺激，使得神經(jīng)元之間的突觸強(qiáng)度增加。
Hebb學(xué)習(xí)規(guī)則隸屬于無(wú)監(jiān)督學(xué)習(xí)算法的范疇，其主要思想是根據(jù)兩個(gè)神經(jīng)元的激發(fā)狀態(tài)來(lái)調(diào)整期連接關(guān)系，以此實(shí)現(xiàn)對(duì)簡(jiǎn)單神經(jīng)活動(dòng)的模擬。繼Hebb學(xué)習(xí)規(guī)則之后，神經(jīng)元的有監(jiān)督Delta學(xué)習(xí)規(guī)則被提出，用于解決在輸入輸出已知的情況下神經(jīng)元權(quán)值的學(xué)習(xí)問題。
1958年，就職于Cornell航空實(shí)驗(yàn)室的Frank Rosenblatt發(fā)明了的一種稱為感知器（Perceptron）的人工神經(jīng)網(wǎng)絡(luò)。它可以被視為一種最簡(jiǎn)單形式的前饋神經(jīng)網(wǎng)絡(luò)，是一種二元線性分類器（激活函數(shù)為sign(x)）。感知機(jī)是人工神經(jīng)網(wǎng)絡(luò)的第一個(gè)實(shí)際應(yīng)用，標(biāo)志著神經(jīng)網(wǎng)絡(luò)進(jìn)入了新的發(fā)展階段。
這次成功的應(yīng)用也引起了許多學(xué)者對(duì)神經(jīng)網(wǎng)絡(luò)的研究興趣。1960年，斯坦福大學(xué)教授Bernard Widrow教授和他的研究生Ted Hoff開發(fā)了Adaline（Adaptive Linear Neuron 或 ?Adaptive Linear Element）和最小均方濾波器（LMS）。Adaline網(wǎng)絡(luò)和感知機(jī)的區(qū)別就是將感知機(jī)的Step函數(shù)換為L(zhǎng)inear線性函數(shù)。同一時(shí)期，Steinbuch等還提出了稱為學(xué)習(xí)矩陣的二進(jìn)制聯(lián)想網(wǎng)絡(luò)。
周志華《機(jī)器學(xué)習(xí)》第5章神經(jīng)網(wǎng)絡(luò)解釋了BP算法實(shí)質(zhì)是LMS算法（Least Mean Square）算法的推廣。LMS試圖使網(wǎng)絡(luò)的輸出均方差最小化，可用于神經(jīng)元激活函數(shù)可微的感知機(jī)學(xué)習(xí)；將LMS推廣到由非線性可微神經(jīng)元組成的多層前饋神經(jīng)網(wǎng)絡(luò)，就得到BP算法，因此BP算法也被稱為廣義δ規(guī)則。
1969年，Marvin Minsky 和 Seymour Papert 發(fā)表《Perceptrons: an introduction to computational geometry》一書，從數(shù)學(xué)的角度證明了單層神經(jīng)網(wǎng)絡(luò)具有有限的功能，甚至在面對(duì)簡(jiǎn)單的“異或”邏輯問題時(shí)也顯得無(wú)能為力。此后，神經(jīng)網(wǎng)絡(luò)的研究陷入了很長(zhǎng)一段時(shí)間的低迷期。
1972年，芬蘭的KohonenT.教授，提出了自組織神經(jīng)網(wǎng)絡(luò)SOM(Self-Organizing feature map)。
1974 年，Paul Werbos在哈佛大學(xué)攻讀博士學(xué)位期間，就在其博士論文中發(fā)明了影響深遠(yuǎn)的著名BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。但沒有引起重視。
1976年，美國(guó)Grossberg教授提出了著名的自適應(yīng)共振理論ART(Adaptive Resonance Theory)，其學(xué)習(xí)過(guò)程具有自組織和自穩(wěn)定的特征。
1982年，David Parker重新發(fā)現(xiàn)了BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。
1982年，John?Hopfield提出了連續(xù)和離散的Hopfield神經(jīng)網(wǎng)絡(luò)模型，并采用全互聯(lián)型神經(jīng)網(wǎng)絡(luò)嘗試對(duì)非多項(xiàng)式復(fù)雜度的旅行商問題進(jìn)行了求解，促進(jìn)神經(jīng)網(wǎng)絡(luò)的研究再次進(jìn)入了蓬勃發(fā)展的時(shí)期。
1983年，Hinton, G. E. 和 Sejnowski, T. J.設(shè)計(jì)了玻爾茲曼機(jī)，首次提出了“隱單元”的概念。在全連接的反饋神經(jīng)網(wǎng)絡(luò)中，包含了可見層和一個(gè)隱層，這就是玻爾茲曼機(jī)。
層數(shù)的增加可以為神經(jīng)網(wǎng)絡(luò)提供更大的靈活性，但參數(shù)的訓(xùn)練算法一直是制約多層神經(jīng)網(wǎng)絡(luò)發(fā)展的一個(gè)重要瓶頸。
一個(gè)沉睡十年的偉大算法即將被喚醒。
1986年，David E. Rumelhart, Geoffrey E. Hinton 和 Ronald J. Williams發(fā)表文章《Learning representations by back-propagating?errors》，重新報(bào)道這一方法，BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法才受到重視。BP算法引入了可微分非線性神經(jīng)元或者sigmod函數(shù)神經(jīng)元，克服了早期神經(jīng)元的弱點(diǎn)，為多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練與實(shí)現(xiàn)提供了一種切實(shí)可行的解決途徑。
1988年，繼BP算法之后，David?Broomhead?和 David?Lowe 將徑向基函數(shù)引入到神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)中，形成了徑向基神經(jīng)網(wǎng)絡(luò)（RBF）。RBF網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)真正走向?qū)嵱没囊粋€(gè)重要標(biāo)志。
BP算法的性能分析文章：
G. Cybenko. 《Approximation by Superpositions of a Sigmoidal Function》
Funahashi, K-I. 《On the approximate realization of continuous mappings by neural networks》
Kur Hornik, Maxwell Stinchcombe and Halber White. 《Multilayer feedforward networks are universal approximators?》
1989年，一系列文章對(duì)BP神經(jīng)網(wǎng)絡(luò)的非線性函數(shù)逼近性能進(jìn)行了分析，并證明對(duì)于具有單隱層，傳遞函數(shù)為sigmod的連續(xù)型前饋神經(jīng)網(wǎng)絡(luò)可以以任意精度逼近任意復(fù)雜的連續(xù)映射。這樣，BP神經(jīng)網(wǎng)絡(luò)憑借能夠保證對(duì)復(fù)雜函數(shù)連續(xù)映射關(guān)系的刻畫能力（只要引入隱層神經(jīng)元的個(gè)數(shù)足夠多），打開了Marvin Minsky 和 Seymour Papert 早已關(guān)閉的研究大門。
統(tǒng)計(jì)學(xué)習(xí)理論是一種專門研究小樣本情況下機(jī)器學(xué)習(xí)規(guī)律的理論。Vapnik, V.N.等人從六、七十年代開始致力于此方面研究。到九十年代中期，隨著其理論的不斷發(fā)展和成熟，也由于神經(jīng)網(wǎng)絡(luò)等學(xué)習(xí)方法在理論上缺乏實(shí)質(zhì)性進(jìn)展，統(tǒng)計(jì)學(xué)習(xí)理論開始受到越來(lái)越廣泛的重視。同時(shí), 在這一理論基礎(chǔ)上發(fā)展了一種新的通用學(xué)習(xí)方法——支持向量機(jī)( SVM )，它已初步表現(xiàn)出很多優(yōu)于已有方法的性能。
此后的近十年時(shí)間，神經(jīng)網(wǎng)絡(luò)由于其淺層結(jié)構(gòu)，容易過(guò)擬合以及參數(shù)訓(xùn)練速度慢等原因，曾經(jīng)火熱的神經(jīng)網(wǎng)絡(luò)又慢慢的淡出了人們的視線。值得一提的是，1997年，Sepp Hochreiter和Jurgen Schmidhuber首先提出長(zhǎng)短期記憶（LSTM）模型。
直到2006年，計(jì)算機(jī)處理速度和存儲(chǔ)能力大大提高，為深度學(xué)習(xí)的提出鋪平了道路。G. E. Hinton 和他的學(xué)生 R. R. Salakhutdinov 在《科學(xué)》雜志上發(fā)表題為《Reducing the Dimensionality of Data with Neural Networks》的文章，掀起了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的研究熱潮。文章摘要闡述了兩個(gè)重要觀點(diǎn)：一是多隱層的神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)到能刻畫數(shù)據(jù)本質(zhì)屬性的特征，對(duì)數(shù)據(jù)可視化和分類等任務(wù)有很大幫助；二是可以借助于無(wú)監(jiān)督的“逐層初始化”策略來(lái)有效克服深層神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上存在的難度。
這篇文章是一個(gè)分水嶺，拉開了深度學(xué)習(xí)大幕，標(biāo)志著深度學(xué)習(xí)的誕生。從此，歷史這樣寫就：從感知機(jī)提出，到BP算法應(yīng)用以及2006年以前的歷史被稱為淺層學(xué)習(xí)，以后的歷史被稱為深度學(xué)習(xí)。
總結(jié)起來(lái)，典型的淺層學(xué)習(xí)模型包括：傳統(tǒng)隱馬爾可夫模型（HMM）、條件隨機(jī)場(chǎng)（CRFs）、最大熵模型（MaxEnt）、boosting、支持向量機(jī)（SVM）、核回歸及僅含單隱層的多層感知器（MLP）等。
同年，G. E. Hinton 又提出了深度信念網(wǎng)絡(luò)(Deep BeliefNetwork, DBN) 。深度信念網(wǎng)絡(luò)基于受限玻爾茲曼機(jī)構(gòu)建。
限制玻爾茲曼機(jī)（RBM）是一種玻爾茲曼機(jī)的變體，但限定模型必須為二分圖。模型中包含對(duì)應(yīng)輸入?yún)?shù)的輸入（可見）單元和對(duì)應(yīng)訓(xùn)練結(jié)果的隱單元，圖中的每條邊必須連接一個(gè)可見單元和一個(gè)隱單元。與此相對(duì)，“無(wú)限制”玻爾茲曼機(jī)(BM)包含隱單元間的邊，使之成為遞歸神經(jīng)網(wǎng)絡(luò)。BM 由Geoffrey Hinton 和 Terry Sejnowski 在1985年發(fā)明，1986年P(guān)aul Smolensky 命名了RBM，但直到Geoffrey Hinton及其合作者在2006年左右發(fā)明快速學(xué)習(xí)算法后，受限玻茲曼機(jī)才變得知名。
自動(dòng)編碼器早在1986年就被Rumelhart等人提出（也有資料說(shuō)第一個(gè)自動(dòng)感應(yīng)器是福島神經(jīng)認(rèn)知機(jī)），2006年之后，G. E. Hinton 等人又對(duì)自動(dòng)編碼器進(jìn)行改造，出現(xiàn)了深度自編碼器，稀疏自編碼器等。2008年，Pascal Vincent和 Yoshua Bengio 等人在《Extracting and composing robust features with denoising autoencoders》中提出了去噪自編碼器，2010年又提出來(lái)層疊去噪自編碼器。2011年，Richard Socher等人也提出了遞歸自編碼器 (RAE)。
目前，卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的一種，已經(jīng)成為當(dāng)前圖像理解領(lǐng)域研究的熱點(diǎn)。早在1989年，Yann Le Cun在貝爾實(shí)驗(yàn)室就開始使用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別手寫數(shù)字；1998年，Yann Le Cun提出了用于字符識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)LeNet5，并在小規(guī)模手寫數(shù)字識(shí)別中取得了較好的結(jié)果?；谶@些工作，Yann Le Cun也被稱為卷積網(wǎng)絡(luò)之父。2012年，Alex Krizhevsky等使用采用卷積神經(jīng)網(wǎng)絡(luò)的AlexNet在ImageNet競(jìng)賽圖像分類任務(wù)中取得了最好成績(jī)，是卷積神經(jīng)網(wǎng)絡(luò)在圖像分類中的巨大成功。隨后Alex Krizhevsky.，Ilya Sutskever.和 Geoffrey Hinton.發(fā)表了文章《ImageNet Classification with Deep Convolutional Neural Networks》 。
GRAVERS A, MOHAMED A, HINTON G. 《Speech recognition with deep recurrent neural networks?》
XU K, BA J, KIROS R, et al. 《Show, attend and tell: neural image caption generation with visual attention?》
PINHEIRO P, COLLOBERT R. 《Recurrent convolutional neural networks for scene labeling》
HE K M, ZHANG X, REN S, et al. 《Deep residual learning for image recognition》
2013年，Graves 證明，結(jié)合了長(zhǎng)短時(shí)記憶(long short terms memory, LSTM) 的遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)比傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)在語(yǔ)音處理方面更有效。2014年至今， 深度學(xué)習(xí)在很多領(lǐng)域都取得了突破性進(jìn)展，發(fā)展出了包括注意力(attention)，RNN--CNN， 以及深度殘差網(wǎng)絡(luò)等多種模型。
最后，給出一個(gè)神經(jīng)網(wǎng)絡(luò)發(fā)展歷史的回顧總結(jié)：
在上一篇文章人工智能簡(jiǎn)史中，分別從三個(gè)時(shí)期，三大學(xué)派，三次大事件以及8位圖領(lǐng)獎(jiǎng)得主的角度，總結(jié)了人工智能的簡(jiǎn)史。本文是總結(jié)連接主義這個(gè)學(xué)派在過(guò)去60年的歷史，人物，思想以及支撐這些思想的文章。后面的文章會(huì)介紹神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)本質(zhì)，兼談AI威脅論的荒謬，隨后也會(huì)解讀神經(jīng)網(wǎng)絡(luò)歷史中里程碑式的重要算法：誤差反向傳播。
參考文獻(xiàn)：
《神經(jīng)網(wǎng)絡(luò)七十年：回顧與展望》焦李成等
《深度學(xué)習(xí)的昨天、今天和明天》余凱等
《卷積神經(jīng)網(wǎng)絡(luò)研究綜述》周飛燕等
《卷積神經(jīng)網(wǎng)絡(luò)研究綜述》李彥東等
《神經(jīng)網(wǎng)絡(luò)新理論與方法》張代遠(yuǎn)
《機(jī)器學(xué)習(xí)》周志華
《圖像理解中的卷積神經(jīng)網(wǎng)絡(luò)》常亮等
《深度強(qiáng)化學(xué)習(xí)綜述：兼論計(jì)算機(jī)圍棋的發(fā)展》趙東斌等
《深度學(xué)習(xí)研究綜述》孫志軍等
