2018-01-15 00:38:27

《科學(xué)的極致：漫談人工智能》

圖靈的研究無疑大大推動了人工智能的進展。然而，圖靈本人卻于1954年死于一個被劇毒氰化物注射過的蘋果，享年僅僅42歲。傳聞他是一名同性戀，這在當(dāng)時的英國是非法的。于是英國政府強行給他注射一種藥物抑制他的同性戀傾向，這導(dǎo)致他最終在治療期間痛苦萬分地自殺了。據(jù)說，蘋果公司為了紀(jì)念這位計算機科學(xué)之父，特意用那個被圖靈咬掉一口的蘋果作為公司的logo。

神經(jīng)網(wǎng)絡(luò)不同，遺傳算法不需要把學(xué)習(xí)區(qū)分成訓(xùn)練和執(zhí)行兩個階段，它完全可以指導(dǎo)機器在執(zhí)行中學(xué)習(xí)，即所謂的做中學(xué)（learning by doing）。

首先，符號學(xué)派的思想和觀點直接繼承自圖靈，他們是直接從功能的角度來理解智能的。他們把智能理解為一個黑箱，只關(guān)心這個黑箱的輸入和輸出，而不關(guān)心黑箱的內(nèi)部構(gòu)造。因此，符號學(xué)派利用知識表示和搜索來替代真實人腦的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。符號學(xué)派假設(shè)知識是先驗地存儲于黑箱之中的，因此，它很擅長解決利用現(xiàn)有的知識做比較復(fù)雜的推理、規(guī)劃、邏輯運算和判斷等問題。

連接學(xué)派則顯然要把智能系統(tǒng)的黑箱打開，從結(jié)構(gòu)的角度來模擬智能系統(tǒng)的運作，而不單單重現(xiàn)功能。這樣，連接學(xué)派看待智能會比符號學(xué)派更加底層。這樣做的好處是可以很好地解決機器學(xué)習(xí)的問題，并自動獲取知識；但是弱點是對于知識的表述是隱含而晦澀的，因為所有學(xué)習(xí)到的知識都變成了連接權(quán)重的數(shù)值。我們?nèi)粢x出神經(jīng)網(wǎng)絡(luò)中存儲的知識，就必須要讓這個網(wǎng)絡(luò)運作起來，而無法直接從模型中讀出。連接學(xué)派擅長解決模式識別、聚類、聯(lián)想等非結(jié)構(gòu)化的問題，但卻很難解決高層次的智能問題（如機器定理證明）。

行為學(xué)派則研究更低級的智能行為，它更擅長模擬身體的運作機制，而不是腦。同時，行為學(xué)派非常強調(diào)進化的作用，他們認(rèn)為，人類的智慧也理應(yīng)是從漫長的進化過程中逐漸演變而來的。行為學(xué)派擅長解決適應(yīng)性、學(xué)習(xí)、快速行為反應(yīng)等問題，也可以解決一定的識別、聚類、聯(lián)想等問題，但在高級智能行為（如問題求解、邏輯演算）上則相形見絀。

DNN不但大幅度提高了準(zhǔn)確率，還間接解決了語音識別模型訓(xùn)練的一個實際問題：對于一些小語種，無法收集到足夠多的訓(xùn)練語料數(shù)據(jù)。谷歌的研究人員發(fā)現(xiàn)了一個有趣的現(xiàn)象，先針對有足夠訓(xùn)練數(shù)據(jù)的大語種（如英語）訓(xùn)練一個識別網(wǎng)絡(luò)，然后將網(wǎng)絡(luò)最頂層的英語音素分類層去掉，代之以某個新語言的音素分類層，而重用下層產(chǎn)生的特征（即把原網(wǎng)絡(luò)去掉最頂層后當(dāng)成一個語音特征提取器），這樣只要花非常少的訓(xùn)練代價，就可以得到一個效果非常好的新語言識別網(wǎng)絡(luò)。特征重用帶來的遷移學(xué)習(xí)能力體現(xiàn)了表示學(xué)習(xí)的巨大威力。

《必然》 (凱文·凱利)

在每個成功的無政府體系中總會存在一個長老會組織。

《第二次機器革命》

為什么我們還擔(dān)心有一些人的生活會更好呢？”正像哈佛大學(xué)經(jīng)濟學(xué)家格雷格·曼昆（Greg Mankiw）所評論到的，如果1%的人口在獲得巨額財富的同時還能為其他所有人創(chuàng)造巨大的財富，這反映的是一種賞罰分明的結(jié)果，而未必是個嚴(yán)重的問題。 資本主義經(jīng)濟體系得以運轉(zhuǎn)的部分原因是，它們給創(chuàng)新者提供了強烈的刺激：如果你的創(chuàng)造在市場中獲得了成功，那么你至少會得到一些酬勞的回報。而如果你的創(chuàng)造帶來了輝煌的成功，那么對你的獎賞將是巨大的。當(dāng)這些刺激因素運轉(zhuǎn)良好時（但這種體系內(nèi)不會給那些膽大妄為之人提供巨大而無風(fēng)險的獎賞），所帶來的收益將非?？捎^：創(chuàng)新者一方面提高了很多人的生活水平，另一方面，通過銷售、購買關(guān)系，創(chuàng)新者也變得富足起來。每個人都獲得了收益，即使并不是每個人所獲得的收益都是相同的。 高科技行業(yè)提供了很多這類令人興奮的現(xiàn)象的例子。企業(yè)家們創(chuàng)造了設(shè)備、網(wǎng)站、應(yīng)用程序以及其他我們認(rèn)為有價值的產(chǎn)品和服務(wù)。我們可以隨便使用和購買它們，企業(yè)家們由此在財富上獲得了巨大的成功。這不是一種功能失調(diào)的模式，它是一種利益共享的模式。正像經(jīng)濟學(xué)家拉里·薩默斯（Larry Summers）所說的：“假設(shè)說美國有30多個像史蒂夫·喬布斯這樣的人……我們不得不承認(rèn)，從某種程度上看，這種不平等的另一面就是成功的企業(yè)家精神；這當(dāng)然是我們要鼓勵的事情?！?我們尤其想要鼓勵這樣的創(chuàng)造，因為，正像我們在第6章所看到的，技術(shù)的進步通常還幫助了全世界甚至是最貧窮的人們。一些認(rèn)真的研究成果已經(jīng)顯示，像移動電話這樣的創(chuàng)新正在提高人們的收入、財富和其他福利水平。

《如何思考會思考的機器》約翰·布羅克曼（John Brockman）

伯特蘭·羅素在他《我為何而生》（What I Have Lived For ）中的動人敘述： 有三種情感，單純?nèi)欢鴱娏?，支配著我的一生：對愛情的渴望，對知識的追求，以及對人類苦難不可遏制的同情。這些感情如陣陣巨風(fēng)，挾卷著我在漂泊不定的路途中東飄西蕩，飛越苦悶的汪洋大海，直抵絕望的邊緣。

《大數(shù)據(jù)預(yù)測 (埃里克·西格爾)》

兩個預(yù)測模型的組合 由此，競爭對手就成了合作伙伴，盡管兩個預(yù)測模型完全不同且設(shè)計思路也有較大差別，但兩者的合并卻并不難。BigChaos競賽小組的安德烈亞斯·道斯特對我說，在合并系統(tǒng)時，他們并沒有細究兩個模型的理論和方法，相反，他們是通過預(yù)測建模系統(tǒng)來實現(xiàn)整合的。他們在這兩個模型的基礎(chǔ)之上研發(fā)出了一種新的模型，以方便對前兩種模型的管理。在某些案例上，模型1可能要勝過模型2，但在另外一些案例上，模型1可能不如模型2。由此，組合模型就可看到兩個模型相對薄弱的環(huán)節(jié)。在兩個模型都給出相同預(yù)測時，問題當(dāng)然不大，但如果兩個模型給出的預(yù)測結(jié)果截然相反，那么組合模型就會對此加以考慮，以提升其整體預(yù)測表現(xiàn)。 在Netflix競賽中，這次合并實際上改變了游戲的規(guī)則，由此掀起了一波合并浪潮，各團隊紛紛尋找伙伴來組成更大更優(yōu)秀的參賽隊伍。這就好比是某新興行業(yè)中忽然掀起的企業(yè)間并購重組浪潮。

《科技想要什么 (凱文 凱利)》

工業(yè)革命早期，有實力的機構(gòu)如教會、政府、手工業(yè)行會，都會在不同的時期對新冒出來的技術(shù)加以限制。少數(shù)禁令在某個時期持續(xù)了數(shù)百年，當(dāng)時一項技術(shù)的改進也需要幾百年的時間。幕府時代的日本禁止用槍、明代中國禁止海上探險，時間都長達3個世紀(jì)，絹紡在意大利被禁200年。還有幾項禁令在歷史上持續(xù)了這么長時間。由于法國同業(yè)公會幾任抄寫員的拖延，印刷術(shù)遲遲不能引入巴黎，不過也只有20年。但是，事實證明這種禁令的做法是徒勞的，「禁令本質(zhì)上是延期令」。該出現(xiàn)的一定會出現(xiàn)，該流行的一定會流行。隨著技術(shù)的生命周期加速，一項流行的發(fā)明幾年內(nèi)就會消退，技術(shù)禁令期限自然也就縮短了。禁令也許持續(xù)時間不長，而它們在發(fā)布期內(nèi)是否真正有效，卻是個很難回答的問題。

與「禁令原則」不同，「預(yù)防原則」看起來要開明一些?！割A(yù)防原則」看上去并不粗暴地拒絕技術(shù)的使用，或者說并不根據(jù)什么戒條阻止技術(shù)的流行。但是，「預(yù)防原則」要求技術(shù)的使用，要「洞悉其可能帶來的風(fēng)險」，也就是說，「證明無害」。這一要求其實與「禁令原則」沒有實質(zhì)的區(qū)別。比如1992年世界首腦峰會達成的《里約宣言》中，有這樣的話：「具有造成重大危害之不確定可能性的活動應(yīng)被禁止。除非該活動支持者證明不存在造成危害的巨大風(fēng)險。」 凱文·凱利認(rèn)為，這種原則理論上好聽，但實際行不通。技術(shù)的負面效應(yīng)既不可能完全祛除，也不可能完全預(yù)知。比如DDT的使用就是這樣。60年前DDT是有功之臣，它消滅了50％以上的瘧疾。但是十幾年后，DDT對水資源、土壤、物種的侵害就昭然天下了。

《超級智能 (（英）波斯特洛姆)》

過去20年間一個主要的理論進展便是人們更清醒地意識到，目前表面上完全不同的各類技術(shù)，是可以被理解為存在于一個共同數(shù)學(xué)框架中的特殊案例的。舉個例子，許多類型的人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)都可以被視為對特定類別統(tǒng)計計算的展示（是一種最大似然估計）。這其實是將神經(jīng)系統(tǒng)視為從實例中學(xué)習(xí)分類的更大一類算法中的一種，比如：決策樹、邏輯回歸模型、支持向量機、樸素貝葉斯、KNN算法等。在一定程度上，遺傳算法可以被視為一種隨機爬山法的演示，是尋找最優(yōu)化算法大類中的一種。每一類這種算法在建立分類和尋找解決空間上都有自己的優(yōu)缺點，而這些優(yōu)缺點都是能夠借助計算揭示出來的。不同的算法對處理時間和存儲空間的要求都有所不同，從而帶來了兩個問題：一個問題是算法的預(yù)先假設(shè)存在歸納偏置，不過這個問題可以通過納入外部內(nèi)容來得到緩解；另一個問題就是，如何把算法的內(nèi)在運行機制向人類分析家們解釋清楚。

如果這種技術(shù)能顯現(xiàn)出更加明顯的益處，比如孩子會有較高智商，獲得遺傳性疾病的概率較小等，那么愿意使用試管嬰兒的夫妻數(shù)量才會增加。

《心智社會》馬文·明斯基（Marvin Minsky）

有證據(jù)表明，如果長時記憶的先行者短時記憶不能持續(xù)一段時間，那么就無法形成長時記憶。這一過程可能會受到各種各樣的藥物和損傷的影響，這就是為什么有些人永遠也無法回憶起腦震蕩前幾分鐘內(nèi)發(fā)生的事。

我們都知道哀傷的時間跨度似乎無情地長，我們常常需要很久才能接受失去自己所愛的人。也許這一點也反映出依戀的變化是緩慢的，盡管它只是影響因素之一而已。這在一定程度上也可以解釋，在經(jīng)歷過身體、情緒或性方面的侵害后，人們會有很長時間的心理障礙。人們可能會問，如果這種經(jīng)歷會產(chǎn)生這么多破壞性的效果，為什么還會與依戀的記憶有關(guān)呢？我懷疑任何形式的親密關(guān)系，無論多么不受歡迎，都會對依戀和性所共用的機器產(chǎn)生影響。無論這個暴虐的情節(jié)有多短，都會在我們的普通生活中造成長期的精神錯亂，部分原因是那些智能組變化很緩慢。受害者以中立的態(tài)度對待當(dāng)時的情境也沒什么幫助，因為思維中其余的部分無法控制這些智能組，只有時間才能讓它們重新正常運轉(zhuǎn)。人們用來建立身份的智能組如果無法正常工作，這種傷害比失明或斷手?jǐn)嗄_還要嚴(yán)重。

《終極算法》([美]佩德羅·多明戈斯)

如果你是一個懶惰又不那么聰明的計算機科學(xué)家，機器學(xué)習(xí)就是理想的職業(yè)，因為學(xué)習(xí)算法會完成所有事情，功勞卻是你的。

我們尋找終極算法的過程是復(fù)雜且活躍的，因為在機器學(xué)習(xí)領(lǐng)域存在不同思想的學(xué)派，主要學(xué)派包括符號學(xué)派、聯(lián)結(jié)學(xué)派、進化學(xué)派、貝葉斯學(xué)派、類推學(xué)派。

對于符號學(xué)派來說，所有的信息都可以簡化為操作符號，就像數(shù)學(xué)家那樣，為了解方程，會用其他表達式來代替本來的表達式。符號學(xué)者明白你不能從零開始學(xué)習(xí)：除了數(shù)據(jù)，你還需要一些原始的知識。他們已經(jīng)弄明白，如何把先前存在的知識并入學(xué)習(xí)中，如何結(jié)合動態(tài)的知識來解決新問題。他們的主算法是逆向演繹，逆向演繹致力于弄明白，為了使演繹進展順利，哪些知識被省略了，然后弄明白是什么讓主算法變得越來越綜合。 對于聯(lián)結(jié)學(xué)派來說，學(xué)習(xí)就是大腦所做的事情，因此我們要做的就是對大腦進行逆向演繹。大腦通過調(diào)整神經(jīng)元之間連接的強度來進行學(xué)習(xí)，關(guān)鍵問題是找到哪些連接導(dǎo)致了誤差，以及如何糾正這些誤差。聯(lián)結(jié)學(xué)派的主算法是反向傳播學(xué)習(xí)算法，該算法將系統(tǒng)的輸出與想要的結(jié)果相比較，然后連續(xù)一層一層地改變神經(jīng)元之間的連接，目的是為了使輸出的東西接近想要的東西。 進化學(xué)派認(rèn)為，所有形式的學(xué)習(xí)都源于自然選擇。如果自然選擇造就我們，那么它就可以造就一切，我們要做的，就是在計算機上對它進行模仿。進化主義解決的關(guān)鍵問題是學(xué)習(xí)結(jié)構(gòu)：不只是像反向傳播那樣調(diào)整參數(shù)，它還創(chuàng)造大腦，用來對參數(shù)進行微調(diào)。進化學(xué)派的主算法是基因編程，和自然使有機體交配和進化那樣，基因編程也對計算機程序進行配對和提升。 貝葉斯學(xué)派最關(guān)注的問題是不確定性。所有掌握的知識都有不確定性，而且學(xué)習(xí)知識的過程也是一種不確定的推理形式。那么問題就變成，在不破壞信息的情況下，如何處理嘈雜、不完整甚至自相矛盾的信息。解決的辦法就是運用概率推理，而主算法就是貝葉斯定理及其衍生定理。貝葉斯定理告訴我們，如何將新的證據(jù)并入我們的信仰中，而概率推理算法盡可能有效地做到這一點。 對于類推學(xué)派來說，學(xué)習(xí)的關(guān)鍵就是要在不同場景中認(rèn)識到相似性，然后由此推導(dǎo)出其他相似性。如果兩個病人有相似的癥狀，那么也許他們患有相同的疾病。問題的關(guān)鍵是，如何判斷兩個事物的相似程度。類推學(xué)派的主算法是支持向量機，主算法找出要記憶的經(jīng)歷，以及弄明白如何將這些經(jīng)歷結(jié)合起來，用來做新的預(yù)測。 每個學(xué)派對其中心問題的解決方法都是一個輝煌、來之不易的進步，但真正的終極算法應(yīng)該把5個學(xué)派的5個問題都解決，而不是只解決一個。

S形曲線的開始部分是有效指數(shù)，在飽和點附近它則接近指數(shù)式衰減。當(dāng)有人討論指數(shù)式增長時，問問你自己：它什么時候會變成一條S形曲線？人口爆炸什么時候才會慢慢消失，摩爾定律的重要性什么時候削減，或者說技術(shù)奇異點什么時候才不會發(fā)生？辨別一條S形曲線，你就會得到一條鐘形曲線：緩慢、快速、緩慢變低、高、低。

反向傳播是自然及技術(shù)領(lǐng)域中非常常見的戰(zhàn)略實例：如果你著急爬到山頂，那你就得爬能找到的最陡的坡。這在技術(shù)上的術(shù)語為“梯度上升”（如果你想爬到山頂）或者梯度下降（如果你想走到山谷）。細菌就是通過游向食物（例如葡萄糖）分子濃度高的地方來覓食的；遇到有毒物質(zhì)，它們則會游向有毒物質(zhì)濃度低的地方。

面對信息缺失以及所有可用信息不可避免的矛盾，要掌握有用的模型就需要利用貝葉斯方法，在第六章我們會深入研究這個問題。對特殊患者進行預(yù)測也是同樣的道理，掌握模型：可利用的證據(jù)必然會雜亂和不完整，但貝葉斯推理會充分利用它。它起到作用了，如果把治愈癌癥作為目標(biāo)，我們不必知道癌細胞運轉(zhuǎn)的所有細節(jié)，只需要知道如何在不損害正常細胞的情況下，使癌細胞失去繁殖能力，這就足夠了。

因為神經(jīng)元是非線性的，每個隱藏層會掌握輸入層更為復(fù)雜的表達方式，在前一個隱藏層的基礎(chǔ)上進行構(gòu)建。給定大批的面部圖片，第一個自動編碼器會對局部特征，如棱角和斑點進行編碼；第二個自動編碼器利用這些信息來對諸如鼻尖、眼睛的虹膜這些面部特征進行編碼；第三個掌握整個鼻子和眼睛的面部特征等。最終，最頂端的一層可以是一臺傳統(tǒng)的感知器，會通過下一層編碼器提供的上層特征來識別你的祖母，這和只利用單個隱藏層提供的粗糙信息，以及對所有層進行反向傳播相比，要簡單得多。

有了決策樹，是否要利用學(xué)習(xí)算法可能會依照其他學(xué)習(xí)算法的預(yù)測來定。不管怎樣，為了給既定訓(xùn)練例子獲取學(xué)習(xí)算法的預(yù)測，我們首先必須將其運用到原始訓(xùn)練集“排除該樣本”中，然后利用最終的分類器，否則委員會就有被擬合學(xué)習(xí)算法控制的風(fēng)險，因為它們可以通過記憶類別來預(yù)測準(zhǔn)確的類別。

元學(xué)習(xí)非常成功，但它卻不是深入組合模型的方法。另外，它也昂貴、苛刻，因為會做很多輪學(xué)習(xí)，而且組合模型可能會很難懂（“我認(rèn)為你有前列腺癌，因為決策樹、遺傳算法、樸素貝葉斯算法都這么判斷，雖然多層感知器和支持向量機反對”）。