說明：?此文為學習邱錫鵬教授《神經(jīng)網(wǎng)絡》一書的總結(jié)。
? ? ? ? 機器學習余溫未減，深度學習也在持續(xù)升溫，成為近年來發(fā)展十分迅速的研究領(lǐng)域，在AI領(lǐng)域取得了巨大成功。今天來海底撈一撈深度學習、人工智能的歷史。
? ? ? ? 深度學習與機器學習：深度學習是從一批有限個樣例中，通過算法總結(jié)出一般性規(guī)律，再將這個規(guī)律應用于未知樣例中。如此看來，深度學習問題根本上也是屬于機器學習問題的。但數(shù)據(jù)在深度學習過程中由輸入到產(chǎn)生最終的輸出，會經(jīng)過多個線性或非線性組件的加工，因此深度學習常采用的模型都是比較復雜的，這也是與傳統(tǒng)機器學習不同的地方。
? ? ? ? 深度學習的問題：由于會經(jīng)過多層組件加工，且前序組件會對后序組件產(chǎn)生影響，因此在整個過程中對每個組件的貢獻度進行分配就是十分重要的，也稱為貢獻度分配問題（Credit Assignment Problem,CAP,也稱為信用分配問題）。深度學習中，貢獻度分配問題是涉及到學習每個組件中的參數(shù)。當前很好解決貢獻分配問題的模型是人工神經(jīng)網(wǎng)絡（Aritificial Neural Network,ANN）。ANN是一種受人腦的神經(jīng)系統(tǒng)工作方式啟發(fā)而構(gòu)建的一種數(shù)學模型。
? ? ? ??神經(jīng)網(wǎng)絡和深度學習并不等價：深度學習是一種學習流程，即將多個組件通過某種方式進行排列，給定相應輸入后會生成規(guī)定格式的輸出。在深度學習的過程中存在多個組件，需要解決組件貢獻度分配問題，神經(jīng)網(wǎng)絡只是解決CAP問題的一種很好的方式，但不是唯一方式。神經(jīng)網(wǎng)絡是一種模型，通過各種不同的優(yōu)化器、網(wǎng)絡連接結(jié)構(gòu)來求解連接各組件的貢獻度。
? ??????人工智能（AI）是什么：就是讓機器具有人類的智能。智能一詞難以定義，但一般認為是知識和智力的總和。阿蘭.圖靈（Alan Turing）在論文《Computing Machinery and Intelligence》(1950)討論了創(chuàng)造一種“智能機器”的可能性。由于“智能”一詞難以定義，于是提出了著名的圖靈測試：一個人在不接觸對方的情況下，通過一種特殊的方式，和對方進行一系列的問答。如果在相當長時間內(nèi)，他無法根據(jù)這些問題判斷對方是人還是計算機，那么就可以認為這個計算機是智能的。圖靈測試是促使人工智能從哲學探討到科學研究的一個重要因素，也引導了人工智能的許多研究方向。
? ? ? ? “人工智能”的誕生：人工智能是計算機科學的一個分支，主要研究、開發(fā)用于模擬、延伸和擴展人類智能的理論、方法、技術(shù)及應用系統(tǒng)等。其誕生有明確的標志性事件：1956年的達特茅斯(Dartmouth)會議。John McCarthy提出了人工智能的定義：人工智能就是要讓機器的行為看起來就像是人所表現(xiàn)出的智能行為一樣。
? ? ? ? 人工智能的主要領(lǐng)域：感知：模擬人的感知能力，對外部刺激信息進行感知和加工，主要包括語音處理、計算機視覺；學習：模擬人的學習能力，研究如何從樣例或與環(huán)境交互中進行學習，主要包括監(jiān)督學習、無監(jiān)督學習和強化學習；認知：模擬人的認知能力，包括知識表示、NLU、推理、規(guī)劃、決策等。
? ? ? ? 人工智能發(fā)展歷史。人工智能從誕生至今，其發(fā)展歷史大致可以分為“推理期”、“知識期”和“學習期”。
? ? ? ? （1）“推理期”：自1956年達特茅斯提出人工智能以來，大部分研究者通過人類的經(jīng)驗，基于邏輯或事實歸納出規(guī)則，然后通過編寫程序讓計算機完成任務。取得了部分初步研究成果，開發(fā)了一系列智能系統(tǒng)，這也使得研究者對開發(fā)出具有人工智能的機器過于樂觀。隨著研究的深入，研究者意識到推理規(guī)則過于簡單，對項目難度評估不足，原來的樂觀預期受到嚴重打擊。
? ? ? ? （2）“知識期”：到了20世紀50年代，研究者意識到知識對于AI的重要性。對于一些復雜的任務，尤其需要專家來構(gòu)建知識庫。在這一時期內(nèi)出現(xiàn)了各種各樣的專家系統(tǒng)，并在特定領(lǐng)域取得了成果。專家系統(tǒng)可以簡單理解為“知識庫+推理機”，是一類具有專門知識和經(jīng)驗的計算機智能程序系統(tǒng)，其一般采用知識表示和知識推理等技術(shù)來完成通常由領(lǐng)域?qū)＜也拍芙鉀Q的復雜問題，因此也稱為基于知識的系統(tǒng)。
? ? ? ? （3）“學習期”：“知識期”建立的專家系統(tǒng)大多是靠專業(yè)領(lǐng)域知識生成相關(guān)推理來解決問題，就出現(xiàn)了”知其然，不知其所以然“的情況。對于人類的很多智能行為，就很難知道其中的原理，也無法描述這些智能行為背后的”知識“。為了解決專家系統(tǒng)難以解決語言理解、圖像理解等問題，研究者就將研究重點轉(zhuǎn)向讓計算機從數(shù)據(jù)中自己學習。事實上，”學習“本身也是一種智能行為。
? ? ? ? 人工智能的流派：人工智能的流派主要分為兩大門派：符號主義和連接主義。
? ? ? ? 符合主義：又稱為邏輯主義、心理學派或計算機學派，是通過分析人類智能的功能，然后通過計算機來實現(xiàn)這些功能。符號主義主要有兩個假設:（1）信息可以用符號來表示；（2）符號可以通過的規(guī)劃來操作。人類的認知過程可以看作是符號操作過程。
? ? ? ? 連接主義：又稱仿生學派、生理學派，是認知科學領(lǐng)域中的一類信息處理方法和理論。在認知科學領(lǐng)域，人類的認知過程可以看做是一種信息處理過程。連接主義認為人類的認知過程是由大量簡單神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡中的信息處理過程，而不是符號運算。因此連接主義模型的主要結(jié)構(gòu)是由大量簡單的信息處理單元組成的互聯(lián)網(wǎng)絡，具有非線性、分布式、并行化、局部性計算以及適應性等特點。
????????符號主義的一個優(yōu)點是可解釋性，而這正是連接主義的弊端。深度學習的主要模型神經(jīng)網(wǎng)絡就是一種連接主義模型。
