“未來已來”,這是在路邊廣告牌上看到的一句廣告語。在整理《人工智能的未來》這本書的內容時,我的大腦皮層上不知道哪一塊功能區(qū)接到一種莫名的輸入信息,隨后發(fā)生了一系列的自-聯想記憶,便不由自主地記起這個詞。
這本書是霍金斯十多年前寫的。里面主要介紹什么是智能及大腦的工作原理。他認為,“人工智能和神經網絡的科學體系框架并不適用于制造智能機器”,“現在(注:2002年左右)就是開始設計和制造類似腦皮層記憶系統的時機。這一領域將在科學和商業(yè)上都無比重要。在未來的10年內,建立在層級體系記憶之上的這個新行業(yè)將會出現諸如Intel和Microsoft這樣的企業(yè)。”【這不是預言,事實已經有這樣的企業(yè)。谷歌,不是嗎?】
對于彼時的作者來說,我現在的閱讀行為是在“未來”發(fā)生的;但對于現在的我來說,作者的那個“未來”已經發(fā)生。從這種意義上說,未來已來。當然,作者在書中提到的一些關于人工智能的研究和探索,也是如此。
一
全書分8章。在第一章中,作者介紹自己走上大腦研究之路的經歷和上世紀70年代末科學界對人工智能研究的主要觀點。
1979年6月,作者從康奈爾大學畢業(yè)進入Intel公司在波特蘭市的工業(yè)園,最初的工作是分析并修復芯片上的錯誤。當年9月,《科學美國人》雜志出了一期關于大腦研究的???,喚起作者孩童時代就萌生的研究大腦、制造智能機器的夢想。1980年,作者被調往英特爾駐波士頓分公司,給客戶和員工講解如何設計微處理器。在這期間,他曾向公司提出專攻大腦工作原理研究的建議,結果未獲支持。
1981年,申請MIT研究生院,因觀點得到不認可被拒。1982年,作者舉家搬至加州,在硅谷一個名為Grid Systems的小公司工作,期間他發(fā)明了一種被命名為Grid Task的高級程序語言,為公司發(fā)展做出突出貢獻,但此時作者對大腦研究有著揮之不去的興趣。所以,后來他參加了人體生理學的函授課程自學,在有了一定的基礎之后,于1985年左右成功申請加州大學伯克利分校的生物物理學研究項目的全日制研究生,從此踏上大腦研究之路?!咀ⅲ鹤髡叩慕洑v再次證明,興趣可以帶來持久的動力。同時也說明,僅有興趣是不行的,還要為興趣而行動?!?/p>
文章回顧了當時人工智能研究的主要理論以及在計算機科學方面的實踐成果,從英國數字家阿蘭·圖靈提出“萬能計算”“圖靈實驗”,到神經生理學家活倫·麥卡洛克(Warren McCulloch)和數學家Walter Pitts解釋“神經元是如何數字化工作”,再到20世紀上半葉占主導地位的“行為主義”心理學思潮對人工智能研究的影響,幾乎通過圖靈測試的“Eliza”程序、IBM的“深藍”等。作者當時認為,人工智能面臨一個根本的錯誤,即它無法圓滿解決什么是智能的問題。
二
作者在第2章神經網絡中,回顧了在加州大學伯克利分校最初的學習研究經歷,講述了神經網絡的不足,以及形成自對人工智能研究的認識和解釋。
從1986年1月開始,作者在加州大學伯克利分校的第一件事就是整理、匯編有關智能和大腦功能理論的研究成果,閱讀很多來自不同領域的論文,包括解剖學、生理學、哲學、語言學、計算機和心理學等。期間,他閱讀了大量科學論文,整理了智能研究的歷史,并時刻關注著人工智能和神經網絡領域的變化。
淹沒在無數細節(jié)中的學習研究,并沒有使作者對大腦的作用以及工作原理有全面的理解。作者對此開始反省,認識到“有了合適的大框架,細節(jié)才會有意義、可操控”(p20)【作者的研究,大致遵循“閱讀——整理——前沿——反思”的流程,而且是無限循環(huán)。】
20世紀60年代后期,神經網絡出現,但與人工智能的研究相對,得不到投資隨后消沉,只有少數人堅持下來。直到80年代中期才重見天日,原因之一是人工智能研究不斷失利。建立在神經系統之上的神經網絡,模型相對簡單(沒有反饋),同時科學界以及媒體對“大腦的工作原理以及什么是智能毫無興趣”,讓作者感到失望。
作者認為功能主義將人工智能研究引入歧途。為了走上“正途”,他說,“智能是大腦的一個內部特征,因此我們必須研究大腦的內部以探究什么是智能。在觀察大腦,尤其是新大腦皮層的過程中,我們必須仔細甄別什么是以前進化過程中形成的多余的‘凍結的偶然事件’,并且肯定在大腦的重要特征之中混雜有許多無用之物。......神經回路之中一定潛藏有某種精確的巨大能量等待我們去發(fā)挖掘,而這種能量將超過任何最先進的計算機”。作者認為,“半個世紀以來,我們調動了人類的全部聰明才智致力于計算機智能化的嘗試。......,但智能機器卻仍然不見蹤影。要想取得成功,我們必須從天然的智能引擎——新大腦皮層——開始探索,必須從大腦的內部提取智能。除此之外,別無他途?!保╬23)
1987年,在一次神經網絡會議上,接觸了一個能識別手寫文字的神經網絡。僅用兩天時間,作者就設計出一種速度更快人、體積更小、使用更靈活的手寫識別器,但它并不使用神經網絡,而是某種規(guī)則系統,這促使十年之后作者發(fā)明PalmPilot掌上電腦。
在此時,作者逐漸形成了對大腦解讀的三種標準:一是大腦功能的時間概念,即真正的大腦是在快速地處理大量不斷變化的信息流,在中間沒有任何東西是靜止的。二是反饋的重要性。如,1根神經纖維向大腦皮層輸入信息,就有10根神經纖維在向感覺器官傳遞信息。作者的這種認識主要來自于神經解剖學家。三是任何大腦模型或理論都應該能夠解釋大腦的物理結構。
一些理論家提出不以行為為中心的“自—匹配記憶”,成為作者關注的焦點。作者認為,人的大腦就是利用某種類似“自—匹配記憶”的回路來學習的。
三
第3章人腦,作者從解剖學角度講述了大腦是如何工作的。
他說自己是新大腦皮層至上主義者。大腦最外面的部分被稱為新大腦皮層。他的觀點是,所有與智能有關的內容,都與它(新大腦皮層)有關。
新大腦皮層是什么樣的? 作者用了一個形象的對比,6張名片疊在一起的厚度,約2亳米。相對其他生物來說,人的大腦皮層的面積與體型的比例要大的多。這6個層次中,每一層的細胞密度、形態(tài)和連接都是變化的?!具@一點很重要。】
大腦皮層中遍布神經細胞,也稱神經元。有解剖學家估計人的大腦皮層包含約300億個神經元。這些神經元構成了一個人的記憶、知識和技能,并可以不斷積累。所有的愛、思想、感覺,三觀,都是來自這一層薄薄的細胞。這些細胞是如何創(chuàng)造出人類思想的,這正是作者想要找到答案的問題。
在作者看來,新大腦皮層的功能是一種層級結構?!按竽X皮層的所有功能區(qū)都分布在回旋的腦皮層上,決定它們之間高低的關鍵在于相互之間的連接。”(p27)
在大腦皮層中,低級區(qū)域通過特定的神經連接方式向高級區(qū)域傳輸信息;而高級區(qū)域用另一種方式向低級區(qū)域反饋信息。不同區(qū)域之間也存在連接。低級感知區(qū)是最低的功能區(qū),也是感知信息最先到達的大腦皮層區(qū)域,它處理最原始、最基本的信息。顯示各種物體的視覺記憶區(qū),處在大腦視覺皮層的較高層級。某些區(qū)域也可以接收來自多種感覺的輸入信息,成為“聯合區(qū)”。大腦前葉有幾個區(qū)域專管運動輸出。
對大腦的描述多數都會用流程圖。但這種流程圖反映出來的對層級結構的看法極為簡單。作者認為,并不完全準確。因為,大腦皮層的信息也會反向傳播,而且向下傳播比向上的要多。所以不能認為所有的信息流都是單向的。
神經元的特征。圓形,帶有樹枝狀的軸突和樹突。當一個細胞的軸突接觸至另一個細胞的樹突時,會形成連接,叫做“神經突觸”。突觸的形成和強度是促成記憶存儲的關鍵?!娟P鍵】
大腦皮層是由眾多神經元組成,最大的一類被稱為金字塔形神經元,占到總細胞數的五分之四。大腦皮層6層結構中,最上層有長達幾千米的軸突區(qū)幾乎沒有細胞。其他五層都有。一個標準的金字塔形細胞有幾千個突觸,密度大、個體小,數量不可知。如果一個普遍金字塔細胞有1000個突觸(實際上這個數接近5000~10000),那么大腦皮層約有30兆個突觸。
如何去理解這個復雜到極點的結構。作者認為,神經學家Vernon Mountcastle于1978年發(fā)表的論文《大腦功能的組織原則》,是神經科學界最重要的發(fā)現。Mountcastle認為,所有大腦皮層的功能區(qū)域都遵循一個共同的算法,視覺、聽覺,甚至運動輸出之間,沒有任何差異。還認為,大腦皮層的連接方式是由基因決定的。作者說,令人難以置信的是,大多數的科學家和工程師要么不相信,要么不理睬。
大腦皮層具有極強的靈活性和可塑性。細胞在形成之初并沒有專門從事觸覺、視覺或聽覺的區(qū)分。作者認為,大腦各區(qū)域是根據傳入的信息種類而發(fā)展出專門的功能。基因決定了大腦皮層的整個建構,包括各個區(qū)域之間相互連接的具體細節(jié),但在此結構的內部,系統卻具有極大的靈活性?!舅圆灰f自己笨的話,我們的大腦很靈活的?!?/p>
在這種理解基礎上,作者說,不同的大腦皮層區(qū)域有著一個相同的、強大的通用算法,如果將這些區(qū)域按照合適的層級結構連接起來并輸入信息,它就能學會了解周圍的環(huán)境?!局悄芫驮谶@里?!坑纱?,作者認為,未來的智能機器不必具有和人類相同的直覺和能力,它不依賴于我們的生物大腦?!救绻f智能都不需要依賴于生物大腦,那么更不需要具有人形,智能機器可以是多種形態(tài);智能的核心是人造機器皮層,以及運作其上的皮層算法?!?/p>
這很讓人吃驚。更甚于此的是作者認為,進入大腦皮層的輸入信息是基本相同的。【如果沒有理解錯的話,應該可以這么比喻,就像計算機一樣,無論你在計算機看到的是什么色彩、聲音、形狀,對計算機來說,這些內容都是由1、0組成的數據串所表式的電子脈沖?!繉Υ竽X皮層來說,輸入大腦的信息,都是由軸突傳遞的,被稱為“動作電位”“電脈沖”的神經信號。這種信號同時具有化學特性和電子特性。
頭腦中的所有信息都是作為軸突上的空間-時間模式進入的。作者以視覺為例解釋了所謂的“空間-時間模式”。我們看到一幅畫面,離不開眼掃描(每秒快速移動3次)和快速變化的模式?!白匀坏囊曈X模式像一條河流進大腦,與其說它是一幅圖,還不如說它像一首歌?!保╬37)
接著分析聽覺、觸覺等其他知覺。結論是,大腦皮層不直接感知外部世界,它所知道的只輸入軸突上的模式流。大腦是模式機器,模式才是實質。由此,對智能來說,不一定必須具有某種知覺或任何知覺的特殊連接。模式是智能的基本媒介。
大腦認識世界要借助一系列的感覺,感覺形成模式傳入大腦皮層,經過相同的算法處理之后形成世界的模型,然后很巧妙地存于記憶之中。
四
第4章記憶。與晶體管相比,神經元要慢得多。一個神經元將突觸上傳來的輸入信息收集起來并組合,約需5亳秒,即每秒運算200次左右。而現代計算機的運算速度比神經元快上百萬倍。但是,看起來大腦更優(yōu)秀。
為什么會這樣?作者認為,這是因為大腦并不需要“計算”問題的答案,而只是從記憶中取出答案。
作者舉了人抓球的例子,如果將同樣的任務交給機器來完成,那么需大量的數學計算。而人完成這樣的任務卻用了不同的方法。作者認為這其中的關鍵就是記憶。大腦皮層不像計算機,它不會計算問題的答案,而是用存儲的記憶來解決問題,做出反應。【果真如此嗎?所謂的靈感是怎么回事?這也是靠記憶嗎?】
在記憶方面,大腦與計算機有四點根本區(qū)別:
大腦皮層可以存儲模式序列;
大腦皮層以自-聯想方式回憶起模式;
大腦皮層以恒定的形式儲存模式;
大腦皮層按照層級結構儲存模式。
【第一點很容易理解。小學生做乘法時經常會有一種表現,從“一八得八”開始,依次背誦出來,然后才能找到“四八三十二”。這說明記憶有一個存儲模式序列的問題。另外,字母表也是如此。如果你問K后面是什么字母,那么他會從ABCD開始背誦,然后找到L。對歌曲的記憶也是如此,你不可能從后往前唱一首歌,雖然整首歌都在你的記憶之中。這些還都容易理解。實際上,其他感覺記憶也是如此,如作者所說的對沙子的感覺,對天鵝絨的感覺,毛巾擦身體的感覺,都是第3章所說的時間-空間模式,都是一個序列模式?!?/p>
所有的記憶都存儲在神經元之間的突觸連接點上。每一次記憶提取的過程只有少數有限的突觸和神經元在起作用。
而計算機的記憶則不是這樣,計算機的記憶被稱為RAM,即隨機訪問存儲。如果要計算機實現順序模式存儲,需要軟件的支持。所以序列存儲是大腦皮層記憶系統的特性。
自-聯想是記憶的第二個特性。自-聯想是指模式可以和自我聯系在一起,自-聯想系統是指能夠根據不完整或混亂的輸入信息回想起全部模式的系統。無論何時,一個記憶片斷可以激活全部的記憶,這是自-聯想記憶的精髓?!具z忘又是怎么一回事?一個信息輸入大腦皮層之后,是不是能夠永久保存下來?如果不能永久保存,那么可以保存多久?為什么有的事情雖然過去許多年,卻可以不費多少氣力就可以清楚地回憶起來。而有的事情卻老也記不?。俊?/p>
人的大腦就是一個復雜的自-聯想系統。在清醒的時候,大腦皮層的每一個功能區(qū)都保持警覺,等待模式輸入。這一切都是自動發(fā)生的?!具@種狀態(tài)有些像計算機系統中的一些守護進程,一旦處于運行狀態(tài),都保持警覺。與大腦不同的是,這些守護進程一直等待接收特定的模式,而大腦幾乎對所有的輸入信息進行自-聯想處理?!?/p>
大腦皮層的第三個特征:恒定表征。大腦記憶不象計算機記憶,從某種程度上說計算機記憶是固定的,如你存儲在計算機的數據在非物理損壞或人為破壞的情況,其數據是不變的;從硬盤拷貝到其他介質上,其內容是完全一致的。而人腦記憶并非如此。
以視覺為例,一個熟悉的臉只要出現在你的視線里,不論它的大小、位置、方向如何,大腦皮層的面孔辨別區(qū)的一些細胞會一直保護穩(wěn)定的激活狀態(tài)。這種細胞激活的穩(wěn)定狀態(tài)就是一種恒定表征。對于大腦皮層是如何形成恒定表征的,仍是最大的科學謎團之一?!静恢垃F在的研究進展哪里了。】
作者認為,大腦皮層的每一個區(qū)域都有抽象的功能。記憶能夠被存儲,是因為抓住了相互關系的精髓,而不是某個瞬間的細節(jié)。當你在看、在感覺、在聽時,大腦皮層接收到詳細的高度特化的輸入信息,并將它們轉化成一種恒定形成?!玖私膺@一點,應該有助于記憶,即注意特化。比如說,用一組數字來幫助記憶多個句子。這應該就是一種抽象和特化。但是這種有意為之的抽象和特化與大腦皮層自動進行的特化,是不是一回事?】
作者說,被存儲的實際上是恒定形式,與每一個新的輸入模式相比較的也是恒定形式。記憶的存儲、記憶的喚醒以及記憶的識別,都發(fā)生在恒定形式的基礎之上。計算機中沒有與之相同的概念。由此引出大腦皮層的一個重要功能,即如何利用記憶進行預測。
本章討論的有關大腦皮層記憶的三大特征(存儲序列、自-聯想記憶和恒定表征),是根據過去記憶推測未來的必要因素。而智能的必要因素是預測?!邦A測未來的能力才是智能的關鍵”(p4)【舍恩伯格說,大數據思維的重要特征是預測未來。那么,大數據思維就是智能嗎?】
五
智能理論新架構。從本章開始,作者對智能理論提出一種新的架構。這種新架構源于作者的觀察。作者認為,“我們的大腦在利用記憶不斷地對我們看到的,聽到的和感覺到的東西進行預測?!睘榱俗C明這種想法,霍金斯做了“改變了的門”的實驗。
通過這個實驗,他提出了進一步的觀點,即預測不僅是大腦所做的事情,還是大腦皮層的主要功能,是智能的基礎?!澳X皮層是一個預測器官,如果解讀什么是智能,什么是創(chuàng)造力,大腦是如何工作的以及如何建造智能機器,我們必須了解這些預測的本質,并搞清楚它們是如何形成的,甚至對作為預測副產品的行為都要透徹地了解?!保╬61)
在這里作者對這種觀點進行了廣泛的思考,以證明預測對于智能的重要作用。還討論了預測和行為的關系。從進化論的角度,說明人和爬行動物最顯著的區(qū)別在于新大腦皮層,后者不具備新大腦皮層。哺乳動物更加聰明,這是因為哺乳動物也擁有新大腦皮層。
六
大腦皮層工作原理。可能是因為作者生物物理學的知識背景,以及不了解大腦就談不上智能的觀點,使得本章成為這本書的重點,份量很重,約占全書的三分之一左右。這里作者全面探討了大腦皮層的層級結構,并一步一步探討大腦皮層的記憶-預測模型是如何工作的。
關于恒定表征。以視覺區(qū)域為例。認別物體涉及4個視覺區(qū)域,從下向上分別是:V1,V2,V4,IT。其中從下向上信息流不斷輸入,從上向下則是“反饋連接”。信息向上流動,期待向下流動。當向下傳遞的信息匯入到不斷輸入的信息時,就會對我們接下來要經歷的事進行預測。在腦皮層區(qū)域中位置越高,能看到的變化越少。視覺是基于時間的輸入流,同聽覺、觸覺一樣。
關于整合感覺。對于視覺輸入的結果,我們會有一個期待。比如說,我現在正在打字,要輸入一個“好”字,用五筆字型可以輸入vb。這個輸入的過程,用觸覺。當如果我輸入了vb之后,期待電腦屏幕上會出現“好”字。觸覺上的輸入動作,是通過視覺上的反饋連接,來驗證輸入是否正確。當然,這個“是否正確”,會牽涉到更多的大腦皮層活動。這個過程,就是大腦皮層將各個感覺整合在一起。
作者對此的結論是,整個新大腦皮層及所有的感覺和聯合區(qū)都行動如一。什么意思呢?代表著這是一個完整的感覺系統,這個系統將視覺、聽到、觸覺以及更多的感覺結合在一起,所有這些都在一個單一的多分支的體系中同時向上、向下流動。
此外還有,所有的預測都是是從經驗中學習的。而所謂的“經驗”,正是大腦皮層上存儲的各種模式。
關于V1區(qū)新說。腦皮層體系較高的區(qū)域形成恒定表征。為什么這個重要功能只出現在較高區(qū)域呢?
任何一個腦皮層區(qū)域的工作就是要弄清它的這些輸入是如何關聯的,然后記憶這些輸入之間的關聯序列,并用這個記憶來預測這些輸入將有何種表現。腦皮層各處的工作都是一樣的,這就是通用的腦皮層工作原理。
關于世界的模型。世界上的一切事物都是由同時出現的較小事物組成的。這就是作者所說的嵌套結構。一個人對于自己家的記憶并不存在于腦皮層的某一個區(qū)域里。它存儲在腦皮層的整個層級結構里,而這又反映了你家的層級結構?!驹催^一個記憶方法“記憶的宮殿”,其工作原理實際上就是將需要記憶的事物附著在一個熟悉的空間結構中,以達到記憶效果?,F實世界的模型是一個巨大無比的樹形結構。linux操作系統的文件目錄就有這樣的結構,所有的數據都統一于一個“/”根目錄之下。此外,數據庫軟件底層實現有很多樹形結構。樹形結構在存儲/記憶信息方面具有優(yōu)勢。這些計算機軟件是在模擬大腦么?或者說當初的設計者們從大腦皮層的層級結構中獲得過啟示嗎?】
“腦皮層有一個巧妙的學習算法,它能自然地發(fā)現存在著的任何層級結構并捕獲它?!保╬90)【掌握這種學習算法,并且用計算機模擬出來,會是什么樣的結果?與現在深度學習有什么樣的關系?】
“在任何一個時刻,你只能體驗到世界的一個子集。在一個時間點上,你只能在你家里的一個房間里,看著一個方向。”“腦皮層的較高區(qū)域追蹤著大的圖像,而較低的區(qū)域則積極地處理快速變化著的小細節(jié)。”
“腦皮層的每個區(qū)域都看到一股這樣的模式流。如果模式都是如此相互關系著,而皮層區(qū)域能夠學會預測接下來將出現什么模式的話,我們就說腦皮層區(qū)域對這一序列形成了穩(wěn)定的表征,或者叫記憶。產生真實世界中的物體的恒定表征的最基本要素就是要記住序列?!保╬91)
關于序列的序列。作者在這里以背誦、打印同一篇演講稿為例進行說明:在任何一個區(qū)域里,恒定表征都能分為兩支,分別沿著不同的路徑向下傳播。系統中最底層的簡單對象的表征能夠被各種更高級的序列反復利用。【這里類似設計模式中的MVC模式,即同一份數據可以在控制器的幫助下,顯現出迥然不同的樣子?!?/p>
“如果腦皮層中較低的區(qū)域無法預測它們看到的是什么模式,它們就會認為這是一個錯誤并且將這一錯誤向上傳遞。這一步驟重復進行直到某一區(qū)域確能預測出這一模式?!薄具@些描述不是很眼熟嗎?這與某些程序設計語言中的異常處理機制是非常相似的。這些編程語言在設計時,是不是也參考了腦皮層的這種機制?】
腦皮層的每一個區(qū)域都在努力存儲并且提取序列。每個區(qū)域都會先將輸入分類,將它們歸到有限的幾種可能中,然后再尋找能與之對應的序列。作者認為,將信息分類和序列化是產生恒定表征所必需的兩個步驟,也是皮層中每個區(qū)域都要進行的兩個步驟。
多半情況下,人是意識不到自己在利用大腦中的序列記憶來填充模棱兩可或不完全的信息的。序列記憶不但能讓你消除當前輸入中的歧義,還能幫助你預測接下來的輸入會是什么。識別出一個模式序列后,大腦皮層區(qū)域就會預測接下來的輸入模式會是什么,并告訴下面的區(qū)域該期待什么。
在大腦皮層的各區(qū)域中,“自下而上”的分類,和“自上而下”的序列化總是相互作用,它們在你的一生中總在變化。這就是學習的本質。實際上,皮層的所有區(qū)域都有“可塑性”——它們都可以因經驗而改變。形成新的分類和新的序列就是你存儲世界的方式。
從人的視覺和機器視覺來看,電腦與人腦的區(qū)別在于,“你所記住的并不是視網膜所看到的事物的快照,也是耳蝸或皮膚所接受的模式的快照。大腦皮層的層級結構保證了對事物的記憶分布于皮層的層級結構中,而并不集中存于一點。并且,因為在皮層體系中每一個區(qū)域都形成恒定的記憶,所以典型的皮層區(qū)域所學得的就是恒定表征序列,這些序列本身也是恒定記憶的序列。人腦中是找不到杯子或其他物體的圖像的?!保╬98)
“你的大腦記住的是世界的本質,而不是它看上去的那個樣子。當你對世界進行思考時,你是在提取那些對應于世界上物體的存在和表現方式的模式,而不是它們在某一刻通過你的任何感官所表現出來的樣子。......你賴以體驗世界的序列就是世界的真正結構,也就是大腦皮層所要記憶的內容?!保╬98)
“大腦皮層里任一區(qū)域中的恒定表征,都能通過將模式沿皮層體系向下傳播而被轉化為你感官將要感知的樣子的細節(jié)性預測?!保╬98)
關于大腦皮層區(qū)域會是什么樣子。皮層區(qū)域的結構,皮層區(qū)域中的細胞如何學習并提取模式序列的,形成恒定表征和進行預測的最必要的元素。
這里介紹了垂直柱的結構。這些垂直柱內的各層是通過上下延展的軸突連接,形成縱向的突觸。每個垂直柱中的細胞彼此有很強的聯系不,會對同一刺激產生反應。
為什么會形成這些垂直柱?在胚胎期,單個的前身細胞從內腦室移動到皮層最終成形的地方,每個細胞都分裂成大約100個神經元,被叫作microcolumn,它們與垂直柱連接起來。人類的大腦皮層大約有好幾億個微型柱。
信息在第1層中水平流動,第2至5層中縱向流動。每個垂直柱中,細胞上突觸有超過90%是與外部相連的。1979年蒙卡斯爾提出單一的皮層算法時,指出皮層垂直柱是皮層中的基本計算單位。作者認為,垂直柱是預測的基本單位。一個垂直柱要興奮并能進行預測,就必須知道其他地方都發(fā)生了什么,因此就有了從各處而來突觸。一個垂直柱中的細胞連接到大腦中其他地方的大量突觸,能為每一個垂直柱提供它在許多不同情境下預測下一步興奮狀態(tài)所必要的上下文信息。
解剖學發(fā)現,當軸突離開第6層到達其他地方時,它們都被包裹在一種叫做髓磷脂的白色脂肪物質里。這種白質如同絕緣層,有助于信號互不干擾,并能使信息傳遞更快。信號以大約每小時320千米的速度傳播。當軸突離開白質時,就進入了第6層中新的皮層垂直柱。
第5層細胞與丘腦。
關于皮層區(qū)域的詳細工作原理。3種回路:沿皮層體系而上的匯聚模式、沿皮層體系而下的擴散模式、經由丘腦的延遲反饋??梢越忉屍訁^(qū)域是如何完成它所具有的功能。
皮層區(qū)域將輸入歸成是一組垂直柱的興奮狀態(tài)。細胞需要信息以幫助它們預測自己何時會被下面的區(qū)域驅動。通常情況下,鄰近垂直柱中的興奮有著很強關聯性。因此,我們能看到有許多伸展到鄰近垂直柱的直接連接。
作者在這里給出了自己對恒定表征形成過程的解釋。
如何對未見過的事件進行預測。作者認為,唯一途徑是利用最后的特定信息將恒定預測轉化為具體預測。從大腦皮層的角度說,必須將前饋信息(實際的輸入)與反饋信息(恒定形式的預測)相結合。
“白日夢”完全是大腦皮層自身所做的保健操。本來應該將輸出信息向較低皮層區(qū)域的,再次成為輸入,回流到輸入流中。第6層細胞除了把信息投射到較低的皮層區(qū)域外,它們還將輸出信息發(fā)送回自己所屬垂直柱的第4層細胞。如此一來,我們的預測就成了輸入。有人將這種情況稱為folded feed-back,可作者稱之稱imaging。
知覺和行為幾乎就是同一的。只要你的行為有所涉及,你的預測就不但要先于感覺,而且還會決定感覺。【所謂的心理暗示嗎?】思考、預測和行動都屬于沿皮層體系下行序列的同一個展開過程。
通過思考而“行動”,以及知覺和動行作為的平行展開過程,是所謂面向目標的行為的核心內容。面向目標的行為是機器人研究的神圣目標,它被置入皮層的結構之中。
“思考做某事”確實是我們完成這件事的開始。
關于上行與下行。這個部分解釋信息如何在皮層體系內上下流動的。在理想狀態(tài)下,如果一個世界是已知的并且是可預測的,那么大部分的上下模式流主要是快速地發(fā)生在皮層的較低區(qū)域。大腦迅速地嘗試著找到自己世界模型中與預料外輸入相一致的部分。只有在這個時候,大腦才能有理由知道接下來要期待什么?!咀鰯祵W題會碰到自己不會做的題型,思考這種題的過程,就是輸入信息流從低層區(qū)域不斷向上傳遞,高層區(qū)域就會有越來越多的皮層區(qū)域參與,直至上方有一個區(qū)域認為自己可以解決這個問題,就是產生一個新的預測,然后沿著這個層級體系盡可能向下傳播。如果沒有找到或者新的預測不對,就會檢測到錯誤,然后大腦皮層重要這個過程。如果怎么想都是不會做,那說明在大腦皮層中沒有這種模式存在??梢赃@樣解釋嗎?】
用去很長時間忽然間找到。頓悟就是這種感覺。用這個模型可以解釋“頓悟”。
關于反饋。神經元的樹突到底是如何工作的,這仍然是個謎。一般認為,沿皮層體系向上傳遞的信息是通過靠近細胞體的突觸來傳遞的。沿體系向下傳播的反饋信息是通過遠離細胞體的突觸傳遞的。但是作者認為,神經元中遠距離的樹突上的突觸對細胞興奮有著積極和明確的作用。
關于大腦皮層如何學習。作者認為,學習和記憶存在于所有的層次和所有的垂直柱中,以及所有的皮層區(qū)域中。海布學習法則:如果兩個神經元同時興奮,它們之間的突觸就會得到加強。這種觀點是正確的,但不是終極理論,實際情況更為復雜。神經系統有許多海布學習法則的變體。
什么是學習?對于大腦皮層來說,學習的兩個基本要素就是形成對模式的分類和建立序列。當一個皮層區(qū)域學習序列的時候,到達第4層細胞的輸入就在變化。因此,這些第4層細胞就會學著進行新的分類,并改變投射回第1層的模式,進而對序列產生影響。
形成序列的基本過程是將屬于同一事物的模式歸為一個組。有一種方法就是將時間上連續(xù)發(fā)生的模式歸為一組。還有的需要借助外部指令來決定哪些模式是一個整體。在反復的學習過程中,對象的表征會沿著皮層體系向下移動?!窘Y合“關于上行與下行”部分的內容,可以這么認為,熟練的記憶是通過加強相關突觸的強度,將記憶對象的表征逐漸地壓低到皮層體系的下層。可以這么看嗎?】
作者認為,并不是說大腦將它們向下轉移,而是它們不得不一次又一次地重新學習。作者也坦言,記憶的實際形成過程更為復雜。他認為,第4層的模式分類是先從底部開始,然后往上移動。在這個過程中,形成序列,隨后這些序列向下移動(更準確地說是對模式的記憶會在皮層的越來越低的區(qū)域中重新形成)隨著簡單地表征往下移,位于皮層底部的區(qū)域就能學習更復雜、更細微的模式了?!具@不正是基礎知識越扎實,就可以更快地學習復雜的新知識嗎?這對如何學習,有直接啟示?!?/p>
隨后作者解釋如何成為一名專家。他說,如果你反復研究某一類事物,你的大腦皮層將在較低的層級中形成對它們的記憶表征,這就把皮層中的較高層級給釋放出來了,可以利用它來學習更細微、更復雜的關系。根據這一理論,專家就是這樣被培養(yǎng)出來的?!尽秾W習的藝術》一書中,作者學習太極拳的方法正是如此。大前研一在《問題解決力》《專業(yè)主義》也曾描述過這種類似經歷,通過分析2000多個案例奠定咨詢行業(yè)的基礎?!?/p>
關于海馬:處于最高層。新皮層下有三個可以相互溝通的大腦結構:基底神經節(jié)、小腦和海馬。這個三個結構都是先于新皮層而存在。粗略地說,基底神經節(jié)是原始的運動系統,小腦主要學習事件間精確的時間關系,海馬則儲存具體事件及地點有關的記憶。
海馬對形成新的記憶至關重要。沒有海馬,可以照常說話、走路、看和聽,但是記不住所有新的事物。能記起失去海馬前許多年認識的朋友,卻記不起一個新遇見的人。它對學習很重要,但是我們掌握的大部分知識最后儲存在新皮層,而不是海馬?!靖杏X海馬像是一個緩沖區(qū),新的事物都需要在這個緩沖區(qū)里不斷地強化,直到達到某一個閥值,才能最終儲存到新皮層。但是作者不是這么認為。】
作者認為,一切感覺數據流,都直接流入皮層的感覺區(qū),而不是先經過海馬。2002年,紅杉神經科學研究中心的Bruno Olshausen指出,海馬與新皮層之間的連接表明海馬是新皮層的最高區(qū)域,而不是一個獨立的結構?!緟⒄铡瓣P于上行和下行”部分的內容,里面并沒有說明,一個識別不出的模式不斷上行后的最終去向。作者這里作了回答。如果皮層每個區(qū)域都理解不了輸入,這些無法解釋也沒有預期到的事物的新記憶就進入海馬,并儲存在那里。但是這些信息并不會一直存在。它們要么被轉移到皮層,要么就永久的丟失?!?/p>
一個較為普遍的現象,隨著年歲增長,人要記住新事物起來越難,而孩子較很容易。對此,作者覺得這可能是因為這些新事物對孩子來說是真的新,而對成年人來說并不新,過去的記憶中有很多雷同之事(物),所以這樣的信息并不會到達成年人的海馬?!具@是作者的推測?!?/p>
海馬是一個非均質的結構,由若干專門化的區(qū)域組成。它最擅長的就是快速記住它所看到的任何的模式。它處于金字塔的頂端,能讓新事物的記憶轉存在皮層體系中。皮層體系存儲記憶是一個稍慢的過程,而在海馬里,可以快速記住一件新事物。但是,你必須再三體驗同一件事物,不管是實際體驗還是在想象,它才會永久地存于皮層中?!具@對于學習來說,是有啟示意義的。知道了記憶的原理,要想記憶長久,必須反復記憶。重要事物說三遍。】
關于上溯體系的第二通路。大腦皮層還有第二個主要通道可使信息在區(qū)域間傳遞,還可以使信息在層級體系中向上傳遞。從有軸突伸入丘腦(不同于前面探討的部分)的第5層細胞開始,然后經由丘腦一直延伸到皮層中緊接著的較高區(qū)域。每當皮層的兩個區(qū)域上下彼此直接相連時,它們也通過丘腦間接地相連。第二通道只向上傳統信息,不向下傳遞。
第二通道是受控制的。在第一種狀態(tài)下,通道基本關閉,信息不能通過。第二種狀態(tài)下,信息在兩個區(qū)域間精確地流動。Murray Sherman,Ray Guillery兩位科學家描述過第二通道。對此,作者的猜測是,丘腦的第二通道就是我們去注意平時不會注意到的細節(jié)的機制。它繞過第2層對序列的分類,直接將原始信息送到皮層的較高區(qū)域。比如,讀一個單詞時,你幾乎不會注意單詞的每一個字母。
生物學家指出,開啟第2條通道有兩種途徑。一種是皮層較高區(qū)域發(fā)生信號。另一種是從下方傳來很強的預料外的信號。
作者說,這一章中提出了很多關于新皮層工作原理的設想。也許細節(jié)上需要修改,但核心思想卻可以保留。
大腦的新皮層并不是由超高速的組件組成,其運行的規(guī)則也并不復雜,它確實有著一個分級結構,里面包含著上億個神經元和上萬億的突觸。作者認為,我們能理解它,正如能研制出計算機來一樣,最終也能研制出與新皮層有著同樣工作原理的智能機器來。
七
意識和創(chuàng)造力。所有的哺乳動物,都具有古腦,其頂部是新大腦皮層,從老鼠到貓,再到人類,它們都具有智力,只是程度高低不同而已。
作者認為,智能的發(fā)展經歷了三個時期,每個時期都利用了記憶和預測。第一個時期是生物將DNA作為記憶的載體,通過基因將世界的記憶傳給后代。第二個時期始于可以快速形成記憶的神經系統的出現。第三個時期,也是最后一個時期,是人類所特有的。語言的產生和新皮層的擴展。
關于創(chuàng)造力。創(chuàng)造力并不僅僅發(fā)生在大腦皮層的某個特定區(qū)域, 也不是固定在皮層某個特定的結構或回路上。它是皮層各區(qū)域所固有的一種屬性,是預測的必要組成部分。
在作者眼中,創(chuàng)造力并不神秘,它可以被簡單地看成是通過類推而進行預測的一種活動而已。它發(fā)生在大腦皮層的各個角落,只要人醒著,它就時時發(fā)生。【類推】
預測就是將恒定記憶序列應用于新的情況,因此腦皮層的所有預測都是通過類推而形成的,我們通過類比過去而預測未來?!具@不就是歷史的作用嗎?】
只有當記憶-預測系統在做高層次的抽象活動時,也就是當它利用非同尋常的類推而做出非同尋常的預測時,此刻的行為才是創(chuàng)造性的?!続lphaGo是不是表示出來智能的創(chuàng)造性?】
創(chuàng)造力就是將過去曾經體驗過的模式與未來生活將要認識的模式彼此糅合、匹配。
關于某些人更富有創(chuàng)造力。人與人的創(chuàng)造力存在差別的原因,一是與環(huán)境因素有關,二是與自然屬性有關。環(huán)境方面,每個人都在腦皮層里形成對世界的不同模型和記憶,而做出的類推和預測也不盡相同。自然屬性方面,大腦表現出自然的差異性,有些是基因決定的,如區(qū)域的大小,腦細胞的多少和連接類型也有所不同。
在解決問題時,有一些方法是可以培養(yǎng)我們找到有用的相似點。首先要假設自己面對的問題是有答案的。不要輕易放棄,要為此而堅持長時間的思考。其次,要讓自己的思想任意馳騁,在大腦充分的時間和空間。
找到一個問題的解答實際上是要找到存儲在大腦皮層中與當前要解決的問題相似的模式。如果對某個問題不解,記憶-預測模型建議你從不同的角度去觀察它,這會提高找到答案的可能性?!玖斆弊铀伎挤ǖ睦碚摶A應該在于此?!?/p>
如果在某個問題上卡住了,那么暫時將它放在一邊,先做點別的事情,然后再重新開始,將問題改變一下提法。如果這樣反復多遍,可能花上一些時間,但問題遲早會有些眉目,你會在過去的經驗中找到相似的情況。要想成功,就要反復琢磨問題,同時還要做點其他事情。這樣,大腦皮層就會有機會找到一些相似的記憶?!具@種道理很早就被教導,只是不知所以然】
錯誤的類推是危險的。創(chuàng)造力也有可能讓人誤入歧途。
作者認為,記憶-預測模型可以部分地解釋意識是什么這個問題。意識有兩種:一種是日常理解的意識,這是一種陳述性記憶,即你能回憶起來并告訴他的記憶。另一種是可感受性。作者覺得平衡自行車這件事就是不能確切地解釋出來的。這與古腦有關。
作者本沒有完全解釋清楚意識。他覺得可以有兩種原因,要么跟生物結構有關,要么跟模式有關。但他認為,不管意識如何界定,可以肯定的是,記憶與預測對于意識的產生起著決定性作用。
除意識之外,還有心智、靈魂、想象力。想象需要一種神經機制將預測轉變?yōu)檩斎耄础罢郫B反饋”。
心智不過是大腦工作的標志,它不是操控大腦細胞或與大腦細胞共存的某種獨立的東西。神經元就是細胞。沒有什么神秘的力量會改變單個或多個神經細胞的正常工作方式。
大腦皮層的通用算法,就是表現記憶和預測的能力。
八
智能之未來。這一章是對未來的想象。作者認為人類可以制造出智能機器,但不會你想像的那種樣子。人型機器人仍然是存在幻想中。原因有幾個方面,首先,人的心智不僅靠新大腦皮層,還需要古腦的情感體系和人體復雜結構。制造和維護類人機器人需要花費更多的精力。
作者給出自己對智能機器制造的路線圖。首先是需要一組感覺器官,通過它們從世界提取模式?!揪褪歉鞣N傳感器】其次,跟這些感官相連的是一個以大腦皮層工作原理而運作的分層存儲系統。接下來需要像教育孩子一樣去訓練這個存儲系統。通過反復的訓練,智能機器構建一個它自己的關于世界的模型。
智能機器必須通過觀察它周圍的世界來進行學習,必要時也包括接受訓練者的輸入。當智能機器建立起一個關于世界的模型,它就能依據過去的經歷來做出類推,從而對未來事件做出預測,為新問題提供解決方案,并且還可以幫助我們得到某些知識。
智能機器的物理形態(tài)可以多種多樣的。
作者認為,制造智能機器最大挑戰(zhàn)是建立記憶。面臨的是記憶容量和連通性方面的挑戰(zhàn)?!狙芯恐悄軝C器,那些具備龐大數據量和超級計算能力的機構具備很大的優(yōu)勢?!康亲髡哒f,大腦皮層約有32萬億個突觸【2016年2月,百度吳恩達說他們已經建起了1000億個連接點】。如果只有2個bit表示一個突觸【為什么是用2個bit來表示?2個bit可以表示4種狀態(tài)?00/01/10/11】,約需要8萬億字節(jié)的容量?!粳F在TB的硬盤已經常見了,粗略相當于8塊1TB的硬盤容量】智能機器將需要智能記憶芯片。
連通性問題。作者認為,連通性是研制智能機器過程中面臨的最大技術難題。一旦技術難題解決,就沒有什么根本性的問題可以阻擋我們制造真正在的智能系統。
該不該制造智能機器。沒什么問題。
智能機器可以做什么?從語音識別變成語音理解。短期內可以提高現有語音識別系統的性能。視覺識別。自動駕駛方面,可以在汽車下線時永久地固化記憶,也可以設計成售后可繼續(xù)學習型,如果條件允許,可以將記憶重新配置,成為升級版?!疚磥碜詣玉{駛汽車的商業(yè)模式是什么樣?可以想象的是,買來一輛車并不能馬上自動駕駛,還是會像手機、有線電視、網絡一樣,只有硬件是不行的。只是不知將是按公里付費,還是包月。如果是這樣的自動駕駛汽車,你會怎么選?】
作者認為,智能機器在4個方面會超過人腦的能力:速度、容量、可復制性和感覺系統。速度不用說。容量方面,可以通過增加層次,導致更深入的理解??梢詳U大區(qū)域容量,讓機器捕捉更多細節(jié),變得更敏銳。還可以擴展感覺系統,建立更好的世界模型。
在高科技領域有一種說法:變化比你的短期預期要長,但比你的長期預期要短。作者認為,這一領域現在正處在轉折點上,很快就會騰飛?!竟雀璧膸炱濏f爾說的奇點來臨?還需要20年嗎?】
20世紀90年代被稱為“大腦的十年”(the decade of the brain)
九
《人工智能的未來》由杰夫·霍金斯(Jeff Hawkins)、桑德拉·布拉克斯莉(Sandra Blakeslee)合著。后者是美國一位著名科普作家,對本書進行了潤色。中文版由賀俊杰、李若子、楊倩翻譯,西安陜西科學技術出版社2006年出版。
閱讀這本書原來打算是用4天晚上,每晚兩章,結果有一天晚上有事耽擱,5天才看完。一邊看一邊記,留下1萬5千字左右的記錄。
如果把這本書比作一座礦山,那這些記錄就是自己在山里挖掘到的一些礦石。但是由于技術不精,都是些粗礦,有些好東西還有礦山里沒能挖掘來。對礦山還需要繼續(xù)發(fā)掘,對粗礦還需要進行精煉。
括號內的文字是閱讀、記錄過程中的即時感受或聯想,沒有多少深入思考,只是作為一個標記,僅僅代表“哦,我在這里停頓了一下,這段內容讓我產生一段有趣的聯想”??赐曛蟛涣私獾?、不知道的和想知道的都變更多了。
如果這本書是一片美麗的風景,這五天里自己慢慢游覽,看到多處美景。能不能形成恒定記憶呢?那還得要下一番功夫。
本書結語中還提到了另一本書:《生命是什么》(Erwin Schrodinger,1944)。什么時候找來翻翻也好。