《人工智能簡史》讀書筆記

第一章達(dá)特茅斯會議:人工智能的源起

一說起人工智能的起源,公認(rèn)是1956年的達(dá)特茅斯會議。殊不知還有個(gè)前戲,1955年,美國西部計(jì)算機(jī)聯(lián)合大會(Western Joint Computer Conference)在洛杉磯召開,會中還套了個(gè)小會:學(xué)習(xí)機(jī)討論會(Session on Learning Machine)。討論會的參加者中有兩個(gè)人參加了第二年的達(dá)特茅斯會議,他們是塞弗里奇(Oliver Selfridge)和紐厄爾(Allen Newell)。

會議6位重要參與者:麥卡錫、明斯基、賽弗里奇(《控制論》作者維納的學(xué)生)、香農(nóng)(《信息論》作者)、紐厄爾(與麥卡錫同齡,其導(dǎo)師是馮諾依曼的合作伙伴)、司馬賀(紐厄爾老師)

麥卡錫給這個(gè)第二年的活動起了個(gè)當(dāng)時(shí)看來別出心裁的名字:人工智能夏季研討會(Summer Research Project on Artificial Intelligence)。普遍的誤解是“人工智能”這個(gè)詞是麥卡錫想出來的,其實(shí)不是。麥老晚年回憶也承認(rèn)這個(gè)詞最早是從別人那里聽來的,但記不清是誰了。

“人工智能”這個(gè)詞真正被共同體廣泛認(rèn)可是在十年后的 1965 年,在加州大學(xué)伯克利分校的歐陸派哲學(xué)家德雷弗斯(Hubert Dreyfus)發(fā)表了“煉金術(shù)與人工智能”一文之后。

司馬賀1957年曾預(yù)言十年內(nèi)計(jì)算機(jī)下棋會擊敗人。1968年麥卡錫和象棋大師列維(David Levy)打賭說十年內(nèi)下棋程序會戰(zhàn)勝列維,最后賠了列維兩千塊。樂觀的預(yù)言總會給對手留下把柄:德雷弗斯后來每年都拿此事嘲諷AI,說計(jì)算機(jī)下下跳棋還行,下象棋連十歲的孩子都干不過。這便宜話一直說到1997年,IBM 的下棋程序“深藍(lán)”擊敗了卡斯帕羅夫。

第二章自動定理證明興衰紀(jì)

數(shù)學(xué)哲學(xué)有三大派:邏輯主義、形式主義以及直覺主義。

自動定理證明起源于邏輯,初衷就是把邏輯演算自動化。

1957年夏季,在塔爾斯基的號召下,一個(gè)邏輯學(xué)家的大聚會在康奈爾大學(xué)舉行,會上數(shù)學(xué)家亞伯拉罕·羅賓遜(Abraham Robinson,數(shù)學(xué)和邏輯領(lǐng)域有好幾個(gè)羅賓遜,且互有關(guān)聯(lián))指出,埃爾布朗(Herbrand)定理可以把一階邏輯的問題轉(zhuǎn)化為命題邏輯。這激發(fā)了大家尋求統(tǒng)一高效的定理證明的實(shí)現(xiàn)方法。

芝加哥大學(xué)的實(shí)驗(yàn)物理學(xué)家費(fèi)米在曼哈頓計(jì)劃的早期負(fù)責(zé)核反應(yīng)堆。戰(zhàn)后,美國以費(fèi)米實(shí)驗(yàn)室為基礎(chǔ)建立了第一個(gè)美國國家實(shí)驗(yàn)室阿貢(Argonne),隸屬于美國能源部。阿貢國家實(shí)驗(yàn)室的一個(gè)分部是應(yīng)用數(shù)學(xué)和科學(xué)計(jì)算,阿貢定理證明小組就在這個(gè)分部。阿貢小組對機(jī)器定理證明的貢獻(xiàn)是決定性的和全方位的。羅賓遜就是在阿貢工作時(shí)提出了歸結(jié)原理。阿貢為歸結(jié)原理的實(shí)現(xiàn)提供了一整套生態(tài)環(huán)境。

自動定理證明依靠的工具是計(jì)算機(jī),正是計(jì)算模糊了理性和經(jīng)驗(yàn)的邊界??梢缘歉咭徊秸f:計(jì)算是知識演化的基礎(chǔ),計(jì)算也是知識民主化的工具。

有些領(lǐng)域,一開始就把百分之八十的容易問題都解決了,而后就一直很難,進(jìn)展很慢,少有突破。人工智能就是這樣,定理證明尤其如此。

自動定理證明的衰落

維特根斯坦曾有言:“邏輯似乎處于一切科學(xué)的底部——因?yàn)檫壿嫷难芯刻剿饕磺惺挛锏谋举|(zhì)?!钡珨?shù)學(xué)家不覺得他們非得趴在邏輯學(xué)家的背上。自動定理證明的狀況與此相關(guān),數(shù)學(xué)家沒覺得這玩意兒有用,人工智能的兩派人馬都不待見。再過幾年,可能就沒什么人能教“自動定理證明”的課了。

數(shù)學(xué)是人類智力的最高端。不明就里的哲學(xué)家對數(shù)學(xué)說三道四是令人最不能忍受的。

第三章從專家系統(tǒng)到知識圖譜

費(fèi)根鮑姆1964年在斯坦福大學(xué)高等行為科學(xué)研究中心的一次會上見到了李德伯格,對科學(xué)哲學(xué)的共同愛好促成了他們漫長而富有成效的合作。那時(shí)李德伯格的研究方向是太空生命探測,更具體地說就是用質(zhì)譜儀分析火星上采集來的數(shù)據(jù),看火星上有無可能存在生命。費(fèi)根鮑姆的興趣則是機(jī)器歸納法,用現(xiàn)在的話說就是機(jī)器學(xué)習(xí)。他們倆,一個(gè)有數(shù)據(jù),一個(gè)搞工具,一拍即合。

第一個(gè)專家系統(tǒng)DENDRAL——

DENDRAL輸入的是質(zhì)譜儀的數(shù)據(jù),輸出是給定物質(zhì)的化學(xué)結(jié)構(gòu)。費(fèi)根鮑姆和他的學(xué)生捕捉翟若適和他的學(xué)生的化學(xué)分析知識,把知識提煉成規(guī)則。這個(gè)專家系統(tǒng)有時(shí)做得比翟若適的學(xué)生還準(zhǔn)。

專家系統(tǒng)MYCIN,一個(gè)針對細(xì)菌感染的診斷系統(tǒng)。MYCIN的處方準(zhǔn)確率是 69%,當(dāng)時(shí)專科醫(yī)生的準(zhǔn)確率是 80%,但 MYCIN 的成績已經(jīng)優(yōu)于非本專業(yè)的醫(yī)生。

紐厄爾,作為外人,卻認(rèn)為MYCIN才是專家系統(tǒng)的鼻祖,因?yàn)镸YCIN首創(chuàng)了后來作為專家系統(tǒng)要素的產(chǎn)生式規(guī)則:不精確推理。DENDRAL的初衷則是從專家采集來的數(shù)據(jù)做機(jī)器歸納,或者說機(jī)器學(xué)習(xí)。

最早的知識圖譜——

在日本五代機(jī)項(xiàng)目帶來的狂潮中,美國政府決定聯(lián)合多家高技術(shù)企業(yè)在得克薩斯大學(xué)奧斯汀分校所在地建立微電子與計(jì)算機(jī)技術(shù)公司(MCC,Micro electronics and Computer Technology Corporation)以抗衡日本。當(dāng)雷納特來到MCC時(shí),他已經(jīng)有了一個(gè)新的想法:把人類的常識編碼,建成知識庫。這個(gè)新項(xiàng)目叫Cyc,這三個(gè)字母取自英文單詞“百科全書”(encyclopedia)。這其實(shí)就是最早的知識圖譜。雷納特堅(jiān)定地支持他老師費(fèi)根鮑姆的知識原則(Knowledge Principle):一個(gè)系統(tǒng)之所以能展示高級的智能理解和行為,主要是因?yàn)樵谒鶑氖碌念I(lǐng)域所表現(xiàn)出來的特定知識:概念、事實(shí)、表示、方法、比喻以及啟發(fā)。雷納特甚至說:“智能就是一千萬條規(guī)則。”

谷歌和知識圖譜

在維基百科的同時(shí),還有個(gè)Freebase。維基百科的受眾是人,而Freebase則強(qiáng)調(diào)機(jī)器可讀。2016年維基百科達(dá)到 1000 萬篇文章,其中英文版達(dá)到 500 萬篇文章,而 Freebase 有 4000 萬個(gè)實(shí)體表示。Freebase 的背后是一家名叫 Metaweb 的創(chuàng)業(yè)公司,創(chuàng)始人之一是希利斯(Danny Hillis)。2010 年Metaweb 被谷歌收購,谷歌給它起了個(gè)響亮的名字“知識圖譜”。2016 年谷歌對 Freebase 停止更新,把所有數(shù)據(jù)捐給維基數(shù)據(jù)(Wikidata)。

第四章計(jì)算機(jī)的教訓(xùn)

1978年,當(dāng)時(shí)的計(jì)算機(jī)工業(yè)按照電路工藝劃分計(jì)算機(jī)的發(fā)展:第一代計(jì)算機(jī)是電子管,第二代是晶體管,第三代是集成電路,第四代是超大規(guī)模集成電路(VLSI)。

三年后的1981年,以元岡達(dá)為首的委員會認(rèn)真提交了一份長達(dá)89頁的報(bào)告,他們認(rèn)為第五代計(jì)算機(jī)不應(yīng)再以硬件工藝為劃分,更應(yīng)看重體系結(jié)構(gòu)和軟件。

英國人沃倫(David Warren)1982年在 AI Magazine 上發(fā)表的論文分析了渕一博為什么選擇了Prolog:在五代機(jī)的所有應(yīng)用中,Prolog能覆蓋的面最廣。五代機(jī)的終極目標(biāo)是知識信息處理,在當(dāng)時(shí)的語境下特指專家系統(tǒng)和自然語言理解。那時(shí)的自然語言理解還是規(guī)則為王的時(shí)代。Prolog很明顯比 LISP更適合這些應(yīng)用。而且在小規(guī)模數(shù)據(jù)的基準(zhǔn)測試中,Prolog 作為數(shù)據(jù)庫查詢語言甚至不輸關(guān)系代數(shù)。當(dāng)然,Prolog不是美國人發(fā)明的,這也是一個(gè)重要因素,這讓日本人更有機(jī)會掌控并占據(jù)領(lǐng)先地位。

計(jì)算機(jī)科學(xué)的進(jìn)步主要是由兩件事驅(qū)動的:機(jī)器太慢;寫程序太慢。在任何時(shí)間點(diǎn),在半導(dǎo)體技術(shù)的約束下,提高機(jī)器速度的唯一辦法是并行處理。Prolog 是高級語言,表達(dá)效率肯定要比過程語言更高。于是,如何并發(fā)地執(zhí)行Prolog在五代機(jī)項(xiàng)目一開始就是重要的研究課題。

美國與日本的第五代機(jī)競爭

日本的五代機(jī)項(xiàng)目為美國敲響了警鐘。1982年美國政府決定成立MCC(Microelectronics and Computer Consortium),作為對日本五代機(jī)項(xiàng)目的回應(yīng)。

五代機(jī)的衰落

五代機(jī)的衰落在1988年就已露出端倪。1981年的第一次五代機(jī)會議的會議錄只有 280 多頁,其中還包括 89 頁的元岡達(dá)報(bào)告。而 1988 年的五代機(jī)會議錄有 1300 頁三大卷。但從會議錄中可以看出,五代機(jī)已經(jīng)成了大雜燴,失去了聚焦點(diǎn),給人感覺五代機(jī)不會在任何相關(guān)領(lǐng)域取得突破性進(jìn)展,而同時(shí)八桿子打不著的領(lǐng)域也拼命向五代機(jī)靠攏。就像當(dāng)下人工智能領(lǐng)域的創(chuàng)業(yè),一些和人工智能毫無瓜葛的社會閑雜人員一夜間都成了AI 專家,拿到 VC 的錢之后再想干啥。

五代機(jī)沒有能證明它能干傳統(tǒng)機(jī)不能干的活,在典型的應(yīng)用中,五代機(jī)也沒比傳統(tǒng)機(jī)快多少。

第五章神經(jīng)網(wǎng)絡(luò)簡史

自圖靈提出“機(jī)器與智能”起,就一直有兩派觀點(diǎn):一派認(rèn)為實(shí)現(xiàn)人工智能必須用邏輯和符號系統(tǒng),這一派看問題是自頂向下的;還有一派認(rèn)為通過仿造大腦可以達(dá)到人工智能,這一派是自底向上的,他們認(rèn)為如果能造一臺機(jī)器,模擬大腦中的神經(jīng)網(wǎng)絡(luò),這臺機(jī)器就有智能了。

模擬神經(jīng)網(wǎng)絡(luò)的原創(chuàng)文章發(fā)表于1943,兩位作者都是傳奇人物:麥卡洛克(Warren McCulloch)和皮茨(Walter Pitts)。

神經(jīng)網(wǎng)絡(luò)研究的后一個(gè)大突破是在1957??的螤柎髮W(xué)的實(shí)驗(yàn)心理學(xué)家羅森布拉特(Frank Rosenblatt)在一臺 IBM-704 計(jì)算機(jī)上模擬實(shí)現(xiàn)了一種他發(fā)明的叫作“感知機(jī)”(Perceptron)的神經(jīng)網(wǎng)絡(luò)模型。這個(gè)模型可以完成一些簡單的視覺處理任務(wù)。這在當(dāng)時(shí)引起了轟動。

明斯基和佩珀特證明了單層神經(jīng)網(wǎng)絡(luò)不能解決XOR(異或)問題。異或是一個(gè)基本邏輯問題,如果連這個(gè)問題都解決不了,那神經(jīng)網(wǎng)絡(luò)的計(jì)算能力實(shí)在有限。其實(shí)羅森布拉特也已猜到“感知機(jī)”可能存在限制,特別是在“符號處理”方面,并以他神經(jīng)心理學(xué)家的經(jīng)驗(yàn)指出,某些大腦受到傷害的人也不能處理符號。但“感知機(jī)”的缺陷被明斯基以一種敵意的方式呈現(xiàn)出來,當(dāng)時(shí)對羅森布拉特是個(gè)致命打擊。原來的政府資助機(jī)構(gòu)也逐漸停止對神經(jīng)網(wǎng)絡(luò)研究的支持。

神經(jīng)網(wǎng)絡(luò)在20世紀(jì)80年代的復(fù)興歸功于物理學(xué)家霍普菲爾德(John Hopfield)。1982 年,那時(shí)在加州理工學(xué)院擔(dān)任生物物理教授的霍普菲爾德,提出了一種新的神經(jīng)網(wǎng)絡(luò),可以解決一大類模式識別問題,還可以給出一類組合優(yōu)化問題的近似解。這種神經(jīng)網(wǎng)絡(luò)模型后來被稱為霍普菲爾德網(wǎng)絡(luò)。

1993年,美國電氣電子工程師學(xué)會 IEEE開始出版《神經(jīng)網(wǎng)絡(luò)會刊》,為該領(lǐng)域的高質(zhì)量文章提供出版渠道。美國國防部、海軍和能源部等也加大資助力度。神經(jīng)網(wǎng)絡(luò)一下子成了顯學(xué)。

神經(jīng)網(wǎng)絡(luò)在20世紀(jì)80年代的光芒被后來的互聯(lián)網(wǎng)掩蓋了。但這幾年,恰恰又是互聯(lián)網(wǎng)產(chǎn)生的海量數(shù)據(jù)給了神經(jīng)網(wǎng)絡(luò)更大的機(jī)會。而人工智能領(lǐng)域最火的詞兒就是“深度學(xué)習(xí)”。神經(jīng)網(wǎng)絡(luò)由一層一層的神經(jīng)元構(gòu)成。層數(shù)越多,就越深,所謂深度學(xué)習(xí)就是用很多層神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)達(dá)到機(jī)器學(xué)習(xí)的功能。

辛頓是深度學(xué)習(xí)的先驅(qū),他和學(xué)生在2006年發(fā)表的兩篇文章開辟了這個(gè)新領(lǐng)域,其中登在《科學(xué)》上的那篇提出了降維和逐層預(yù)訓(xùn)練的方法,使得深度網(wǎng)絡(luò)的實(shí)用化成為可能。

2012年,時(shí)任斯坦福大學(xué)人工智能實(shí)驗(yàn)室主任的吳恩達(dá)和谷歌合作建造了一個(gè)當(dāng)時(shí)最大的神經(jīng)網(wǎng)絡(luò),這是谷歌神秘的X實(shí)驗(yàn)室的一個(gè)計(jì)劃。網(wǎng)絡(luò)上一度瘋傳的谷歌貓臉識別就是用的這個(gè)參數(shù)多達(dá)十七億的神經(jīng)網(wǎng)絡(luò)。后來,吳恩達(dá)在斯坦福大學(xué)又搞了個(gè)更大的神經(jīng)網(wǎng)絡(luò),參數(shù)高達(dá)一百一十二億。

第六章計(jì)算機(jī)下棋簡史:機(jī)定勝人,人定勝天

跳棋——

下棋一直就是人類智能的挑戰(zhàn),自然也成了人工智能的標(biāo)志之一。二戰(zhàn)沒結(jié)束時(shí),圖靈就研究計(jì)算機(jī)下棋,他1947年編了第一個(gè)下棋程序,可惜那時(shí)計(jì)算機(jī)的時(shí)間(簡稱“機(jī)時(shí)”)很寶貴,輪不到他上機(jī)。

1951年,圖靈的朋友斯特拉切(Christopher Strachey)在曼徹斯特?Mark-1上寫了第一款跳棋程序。圖靈在1952年曾與之對弈一局,輕松取勝。1956年 IBM 的塞繆爾(Arthur Samuel,人工智能里程碑達(dá)特茅斯會議的參加者之一)寫了第二個(gè)跳棋程序,這款程序的特點(diǎn)是自學(xué)習(xí),這也是最早的機(jī)器學(xué)習(xí)程序之一,后來不斷改進(jìn),曾經(jīng)贏過盲人跳棋大師。

舍佛團(tuán)隊(duì)繼續(xù)精研跳棋理論和實(shí)踐,直到2007年,他們證明對于跳棋,只要對弈雙方不犯錯(cuò),最終都是和棋,而Chinook已經(jīng)可以不犯錯(cuò)。他們的結(jié)果發(fā)表在2007年 9 月的《科學(xué)》雜志上,自此跳棋這一頁就算翻過去了。舍佛的興趣遂轉(zhuǎn)向德州撲克和圍棋。

計(jì)算機(jī)下棋——

第一個(gè)可以走完全局的下棋程序是IBM的工程師伯恩斯坦(Alex Bernstein)1958 年在一臺 IBM 704 上做的。

1966年,美蘇的對抗也擴(kuò)展到計(jì)算機(jī)下棋。蘇聯(lián)科學(xué)院的理論與實(shí)驗(yàn)物理研究所(ITEP)也在本所研制的一臺 M20 計(jì)算機(jī)上開發(fā)了一款下棋程序,他們要和斯坦福大學(xué)的Kotok-McCarthy程序一決高下。從 1966 年 11 月 22 日開始,直到 1967 年 3 月 10 日止,他們通過電報(bào)的方式走了四局。最后蘇聯(lián) 3:1 戰(zhàn)勝美國。

20世紀(jì) 80年代,機(jī)器之間的比賽此起彼伏,但機(jī)器和人之間仍然有著不可逾越的鴻溝。1980 年,天才弗雷德金(Edward Fredkin)專為計(jì)算機(jī)下棋建立了弗雷德金獎金,獎有三等,頭等獎是 10 萬美元,獎給第一款能贏現(xiàn)任世界冠軍的下棋機(jī)器。

象棋:深藍(lán)——

IBM的外號叫 Big Blue,于是新的項(xiàng)目 1996 年被命名為“深藍(lán)”(Deep Blue)。1996 年 ACM 年會的閉幕節(jié)目是“深藍(lán)”對決卡斯帕羅夫,六局棋?!吧钏{(lán)”旗開得勝,第一局就贏了老卡,最后還是老卡 4:2 贏得決賽。但此時(shí)老卡對“深藍(lán)”刮目相看,他說機(jī)器對手不光有洞見,而且有幾步簡直像“上帝下的”。

1997年 5月 11 日,老卡認(rèn)輸,“深藍(lán)”成了第一位戰(zhàn)勝當(dāng)時(shí)世界冠軍的機(jī)器。在“深藍(lán)”贏了卡斯帕羅夫之后,職業(yè)棋手并沒有因此而改行,他們反而更多地依賴計(jì)算機(jī)來訓(xùn)練。

圍棋:AlphaGo——

谷歌的AlphaGo首次引用了強(qiáng)化學(xué)習(xí)(Reinforcement Learning),使得機(jī)器和自己對弈學(xué)習(xí)。

第七章自然語言處理

喬治敦實(shí)驗(yàn)要早于達(dá)特茅斯會議,這也從另一個(gè)角度證明了達(dá)特茅斯會議更多是“人工智能”這個(gè)詞兒流行的源頭,而不是這門學(xué)科的起點(diǎn)。

1966年 11月,ALPAC 發(fā)布了《語言與機(jī)器》報(bào)告,稱機(jī)器翻譯比人翻譯要慢,更不準(zhǔn)確,而且成本更高(估算比人要貴兩倍)。結(jié)論是機(jī)器翻譯在可預(yù)見的未來沒法實(shí)用,應(yīng)該立即停止對機(jī)器翻譯的資助,轉(zhuǎn)而支持一些更基礎(chǔ)的、輔助性的研究,如電子字典等。這個(gè)報(bào)告第一次提出了“計(jì)算語言學(xué)”的概念。

喬姆斯基之于語言學(xué)和認(rèn)知科學(xué),就像圖靈之于計(jì)算機(jī)科學(xué)。喬姆斯基認(rèn)為,所有的語言(人工或自然)都有與此類似的句法結(jié)構(gòu),并進(jìn)一步指出語言的結(jié)構(gòu)是內(nèi)在的,而不是通過經(jīng)驗(yàn)習(xí)得的(acquired)。

對話機(jī)器人的起源——ELIZA、PARRY

魏森鮑姆(Joseph Weizenbaum):1960年,他得了數(shù)學(xué)碩士學(xué)位后就進(jìn)了工業(yè)界,在通用電氣的工作經(jīng)歷把他引到了剛剛誕生的計(jì)算機(jī)行業(yè)。他最顯赫的成就就是對話程序ELIZA?,F(xiàn)在對話程序有一個(gè)更流行且形象的詞兒“聊天機(jī)器人”(chatbot或 chatterbot),但根兒都在 ELIZA。

科爾比感興趣的問題正好和魏森鮑姆相反:怎么樣構(gòu)造一個(gè)能聊天的病人,一方面可以培訓(xùn)心理醫(yī)生,另一方面理解病人的征兆。他的成果在1972 年變成了計(jì)算機(jī)程序PARRY。

隨著ELIZA在媒體上的成功,魏森鮑姆和科爾比漸行漸遠(yuǎn)。ELIZA的廣泛影響力最終把魏森鮑姆變成技術(shù)的異教徒。當(dāng)大家在爭論機(jī)器能不能最終超越人類時(shí),他指出這不是“能不能”的問題,而是“該不該”的問題。他意識到了技術(shù)的可怕,此后的研究方向轉(zhuǎn)變成計(jì)算機(jī)技術(shù)所帶來的社會責(zé)任和道德問題。

機(jī)器人手臂——

當(dāng)時(shí)真正建立一個(gè)機(jī)器人手臂,還有一定難度,于是維諾格拉德利用顯示器展示了一個(gè)虛擬的積木世界。SHRDLU 為這個(gè)積木世界建立了模型,例如每個(gè)積木塊的性質(zhì),長寬高、顏色、形狀等,以及什么積木塊可以搭在什么積木塊的上面。人可以通過簡單的自然語言,命令一個(gè)機(jī)器手對這個(gè)積木世界進(jìn)行虛擬操作。例如拿起一個(gè)特定的積木塊把它摞在另一個(gè)積木塊上。當(dāng)機(jī)器吃不準(zhǔn)人的命令時(shí),可以向人發(fā)問。

SHRDLU要遠(yuǎn)比 ELIZA復(fù)雜,學(xué)術(shù)意義也更加深刻。SHRDLU 把當(dāng)時(shí)很多 AI 技術(shù)整合到一起,除了自然語言理解外,還有規(guī)劃(Planning)和知識表示。

神經(jīng)機(jī)器翻譯——

2016年,谷歌發(fā)布神經(jīng)機(jī)器翻譯(Google Neural Machine Translation,簡稱 GNMT)系統(tǒng),再次大幅提高機(jī)器翻譯的水平。和谷歌更早期的基于短語的機(jī)器翻譯(Phrase-Based Machine Translation,簡稱 PBMT)不同,神經(jīng)翻譯的基本單位是句子。谷歌使用了循環(huán)神經(jīng)網(wǎng)絡(luò)RNN?做序列到序列(Sequence to Sequence)的學(xué)習(xí),硬件設(shè)備是谷歌自己的 TensorFlow 平臺。

2017年,F(xiàn)acebook進(jìn)一步提高了翻譯效率。他們用自己擅長的卷積神經(jīng)網(wǎng)絡(luò)CNN,進(jìn)行序列到序列的學(xué)習(xí)。Facebook號稱,英文-德文和英文-法文翻譯的基準(zhǔn)測試表明,他們的結(jié)果在準(zhǔn)確度上不輸谷歌,而在計(jì)算速度上則可以比谷歌的RNN有一個(gè)數(shù)量級的提升。

語義的問題大致可分兩類,一類體現(xiàn)在人和世界的互動。還有一類體現(xiàn)在人和人的交流。魏森鮑姆的ELIZA就屬這類。

問答系統(tǒng)的組成——

大體上說,問答系統(tǒng)有三個(gè)必備的組成部分,第一部分是問題理解,第二部分是知識查詢,第三部分是答案生成。這三個(gè)部分相輔相成,第一部分和第三部分是自然語言處理的工作。

語音輸入——

在谷歌和Facebook在機(jī)器翻譯取得長足進(jìn)展之前,語音輸入率先獲得突破,2011年微軟鄧力團(tuán)隊(duì)在語音識別上的成功是深度學(xué)習(xí)的標(biāo)志性事件之一。蘋果、谷歌和微軟都推出實(shí)用產(chǎn)品。中國企業(yè)科大訊飛的語音輸入的應(yīng)用技術(shù)也漸趨成熟。

喬姆斯基對人工智能的批評的核心在于“可解釋性”。AlphaGo 不能解釋自己下棋的路數(shù),算不算會下棋呢?也可以反過來說,只有解釋了,人類才能從中得到洞見,學(xué)習(xí)知識。

章向自然學(xué)習(xí):從遺傳算法到強(qiáng)化學(xué)習(xí)

遺傳編程——

霍蘭德的學(xué)生寇扎(John Koza)在1987年給出了一個(gè)思路,并把它命名為“遺傳編程”(Genetic Programming)。

強(qiáng)化學(xué)習(xí)——

強(qiáng)化學(xué)習(xí)的理論基礎(chǔ)之一是馬爾科夫決策過程。強(qiáng)化學(xué)習(xí)就是Agent根據(jù)經(jīng)驗(yàn)改變策略以期達(dá)到長期最大獎賞的過程。

強(qiáng)化學(xué)習(xí)的另一個(gè)理論基礎(chǔ)是動態(tài)規(guī)劃。

在計(jì)算能力的約束下,強(qiáng)化學(xué)習(xí)的環(huán)境不宜太復(fù)雜。萌芽期的強(qiáng)化學(xué)習(xí)的例子都是游戲,如貝爾曼的“老虎機(jī)”和塞繆爾(Samuel)的跳棋。游戲的環(huán)境相對容易定義,在棋類比賽中,環(huán)境就是對手和規(guī)則。強(qiáng)化學(xué)習(xí)被用來下圍棋不是偶然的。

第九章哲學(xué)家和人工智能

休伯特·德雷弗斯:1964年夏季他再次到蘭德公司工作,寫出了那篇廣為流傳的“煉金術(shù)與人工智能”。這篇文章一開始只是攻擊紐厄爾和司馬賀的觀點(diǎn),后來內(nèi)容逐漸被擴(kuò)充,攻擊的范圍也擴(kuò)大,終于成為一本書,書名是《計(jì)算機(jī)不能干什么》,變成了對人工智能的全面批評。

德雷弗斯能夠如此長久地混跡人工智能的江湖,有兩個(gè)原因:其一,人工智能內(nèi)部一直就是兩大派不和,而且派中有派,很少有過學(xué)科的發(fā)展像人工智能這樣起伏跌宕,蒼蠅不叮無縫的蛋;其二,相當(dāng)一批人工智能工作者有哲學(xué)情懷。

中文屋實(shí)驗(yàn)——

所謂“中文屋”思想實(shí)驗(yàn)是這樣的:假設(shè)有個(gè)只懂英文不懂中文的人(塞爾的第一人稱“我”)被鎖在一個(gè)房間里,屋里只給“我”留了一本手冊或一個(gè)計(jì)算機(jī)程序,這個(gè)手冊或程序教“我”在收到中文信息時(shí)如何用中文應(yīng)對。屋外的人用中文問問題,屋里的“我”依靠程序用中文回答問題,溝通方式是遞紙條。塞爾的問題是:假設(shè)屋外的人不能區(qū)分屋里的人是不是母語為中文,那么屋里的“我”是不是就算懂中文?塞爾自己認(rèn)為“我”不懂中文。很明顯,這個(gè)場景源自圖靈測試,只不過圖靈測試的環(huán)境是英文,而中文屋里既有中文又有英文。


彭羅斯曾經(jīng)這樣談到機(jī)器的情感和道德:如果你買一臺計(jì)算機(jī),它是有情感的,那么我們就有道德問題,因?yàn)橛?jì)算機(jī)的意愿可能被違反,并可能會被當(dāng)作奴隸。我們首先必須說道德是一個(gè)社會問題,也就是說當(dāng)一個(gè)社會只有一個(gè)個(gè)體(無論是人還是計(jì)算機(jī))時(shí),是不存在道德問題的。

章人是機(jī)器嗎?——人工智能的計(jì)算理論基礎(chǔ)

如果我們把“智能”當(dāng)作人類特有的性質(zhì),那么“人是機(jī)器嗎”這個(gè)問題就等價(jià)于“機(jī)器有智能嗎”。

怎樣才算是高效率算法呢?一般的看法是,運(yùn)行時(shí)間和空間隨著問題規(guī)模擴(kuò)大而變得很大的就不是高效的算法。

在可計(jì)算性上超越圖靈機(jī)的裝置叫“超計(jì)算”。

BSS模型的主要用途是為數(shù)值計(jì)算中的算法分析提供理論基礎(chǔ)。

最早提出通用量子計(jì)算模型的是以色列出生的英國人多依奇,他1985年在《皇家學(xué)會會刊》發(fā)表文章首創(chuàng)通用量子圖靈機(jī)模型,為量子計(jì)算提供了理論基礎(chǔ)。他進(jìn)一步提出丘奇-圖靈-多依奇原理(ChurchTuring-Deutsch Principle):任何物理過程都可以被通用計(jì)算裝置(量子計(jì)算機(jī))所模擬。

第十一章智能的進(jìn)化

強(qiáng)人工智能是說機(jī)器會全面達(dá)到人的智能,強(qiáng)人工智能有時(shí)也會和“通用人工智能”(Artificial General Intelligence)同義;而弱人工智能是說機(jī)器會在某些方面達(dá)到人的智能——AlphaGo就是弱人工智能的代表。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容