第一節(jié)課：智能模型
一、什么是智能？
從自然或人工環(huán)境中感知和解析信息，提煉只是并運用與自適應(yīng)行為的能力。
實現(xiàn)人工智能
?? ?基石假設(shè)一
人類的思考過程可以機械化
How？》》》形式推理
形式推理：從真實前提推出真實結(jié)論的形式
? ? 基石假設(shè)二
機械化的思考可以用工程化實現(xiàn)
（信息論&控制論）
神經(jīng)學(xué)家發(fā)現(xiàn)大腦是后神經(jīng)元組成的電子網(wǎng)絡(luò)，其激勵電平只存在“有”和“無”兩種狀態(tài)
現(xiàn)代二進(jìn)制計算機
皮茨-麥卡洛人工神經(jīng)元網(wǎng)絡(luò)
最后一個疑問
如何判斷機器擁有智能？
（圖靈測試）
達(dá)特茅斯會議
學(xué)習(xí)或者智能的任何其他特征的每一個方面都應(yīng)能被精確地加以描述，使得機器可以對其進(jìn)行模擬。
第一個浪潮：黃金時代
搜索式推理：邏輯理論家
自然語言：STUDENT
人工神經(jīng)元：感知器
（人們總是低估短期內(nèi)的困難）
人工智能嚴(yán)冬（1874-1980）
模型局限
算法局限
難題之一：
計算復(fù)雜度呈指數(shù)爆炸（問題難度和計算難度）
難題二
機器缺乏常識（比如聊天過程中的語氣，表達(dá)方式）
難題三
莫拉維克悖論（比如模擬人踢足球）
難題四
復(fù)雜問題建模困難
回歸現(xiàn)實，回歸邏輯基礎(chǔ)
從邏輯進(jìn)行形式推理
第二次浪潮（1980-1987）
專家系統(tǒng)：通往實在之路
規(guī)避XOR難題：反向傳播算法
再次入冬：計算成本太高
I如何飛翔？
圍繞AI的一系列重要思考：目標(biāo)？假設(shè)？評估？
問題：
（人類科學(xué)和智能&自然演化（生物學(xué)），花了很多年做出了飛機，但是還是遠(yuǎn)遠(yuǎn)達(dá)不到自然演化成鳥的狀態(tài)）
（人類研究這么多年人工智能，依然創(chuàng)造不出人，創(chuàng)造不出能踢足球的人）
人工智能是仿生，還是工程?
偽仿生工程（達(dá)芬奇之鳥）
原理不清，技術(shù)復(fù)雜，難以分析，制造
噴漆飛機
數(shù)學(xué)模型（簡單但清晰，便于優(yōu)化）
計算引擎（充分利用人類工程的成就，便于升級）
?? ???問題：
是完全仿生，還是基于目標(biāo)設(shè)計解決問題的機器？
第三次復(fù)興：機器學(xué)習(xí)
第二節(jié)課：機器學(xué)習(xí)
為什么是現(xiàn)在？?
數(shù)據(jù)優(yōu)勢：網(wǎng)絡(luò)效應(yīng)
因為網(wǎng)絡(luò)效應(yīng)，導(dǎo)致收集數(shù)據(jù)和產(chǎn)生數(shù)據(jù)都有大量規(guī)模，機器學(xué)習(xí)的資源及其豐富
軟件優(yōu)勢：算法提升
基礎(chǔ)算法有大量突破：深度學(xué)習(xí)，優(yōu)化算法，統(tǒng)計推理算法等
硬件優(yōu)勢：計算能力
摩爾定律
機械狗可以自己學(xué)習(xí)，調(diào)整運動狀態(tài)，學(xué)習(xí)運動
但是目前基礎(chǔ)算法背后的邏輯究竟是什么，還是沒有搞清楚。
（問題：算法被搗鼓出來了，但是究竟怎么算的人還是不知道？）
然而，背后的理論范式?jīng)]有突破
及其學(xué)習(xí)只是戰(zhàn)術(shù)勝利？
還是我們戰(zhàn)略目標(biāo)一開始就有問題？
難道？
AI的最初理想失敗了（創(chuàng)造出人，或者強于人的物種）
AI的現(xiàn)實應(yīng)用成功了（靠譜的，有用的，可用的應(yīng)用型AI）（解決具體問題，幫助人提高效率，處理人處理不了的問題）
什么是學(xué)習(xí)？
將主體對環(huán)境的認(rèn)知和反饋模式的程序化
（可以被固化，可以增長，可以被描述，可以傳授給另外一個人）
人類學(xué)習(xí)什么？
對環(huán)境中變化進(jìn)行預(yù)測的規(guī)則
對環(huán)境變化中進(jìn)行操縱的方法
公司規(guī)章
制造流程
自然法則
價值觀
學(xué)習(xí)》》《《推理
（學(xué)習(xí)和推理是相互作用的）
（人的行為分行為和動機，行為好理解，動機不好理解）
人類如何學(xué)習(xí)？
思維模型+刻意練習(xí)
什么是機器學(xué)習(xí)？
機器學(xué)習(xí)的關(guān)注點在于：如何建立一個能夠自動提升體驗的計算系統(tǒng)，以及什么是學(xué)習(xí)過程的基本法則。
機器學(xué)習(xí)過程：《P、T、E》
性能
任務(wù)
體驗
機器如何學(xué)習(xí)
模型+數(shù)據(jù)+算法+設(shè)備
機器學(xué)習(xí)的流程
【圖，三角循環(huán)】
環(huán)境》感知》決策》環(huán)境》感知》決策》
決策》環(huán)境：驗證/實踐
環(huán)境》感知：取樣/反饋
感知》決策：建模/判斷
感知：理解樣本》用模型描述樣本》用數(shù)據(jù)訓(xùn)練逼近目標(biāo)函數(shù)
理解樣本：樣本長啥樣，大量樣本輸入（比如看??）
用模型描述樣本：根據(jù)樣本的共性，建立一個模型，用來識別樣本。
用數(shù)據(jù)訓(xùn)練逼近目標(biāo)函數(shù)：把樣本輸入到模型中，根據(jù)模型識別樣本，
感知的本質(zhì)：用模型逼近現(xiàn)實
然后用現(xiàn)實訓(xùn)練模型
決策=“決”策
對or錯、好or壞、是or否
決策的本質(zhì)是劃清邊界
對丨錯、好丨壞、是丨否
（增加判斷維度，不好區(qū)分的東西，可能就更好區(qū)分了（比如如何區(qū)分南北方人，體型不好區(qū)分，加上口音可能就好區(qū)分了））
（聽課有主干內(nèi)容和舉例，舉例是幫助理解主干內(nèi)容的，要抓住主干內(nèi)容，自己思考例子）
機器學(xué)習(xí)的自反饋循環(huán)
決策》感知：驗證/實踐
?? ?機器學(xué)習(xí)的模式：
監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、強化學(xué)習(xí)、遷移學(xué)習(xí)
有監(jiān)督學(xué)習(xí)：告訴機器對錯，給機器足夠多的例子
無監(jiān)督學(xué)習(xí)：不告訴你對錯和標(biāo)準(zhǔn)，機器自動聚類，找到有共同特征的例子。（比如今日頭條打閱讀標(biāo)簽，比如通過監(jiān)控系統(tǒng)找到小偷，比如金融反欺詐）
半監(jiān)督學(xué)習(xí)：告訴你部分對錯，給部分例子，其他機器學(xué)習(xí)，機器歸類
強化學(xué)習(xí)：機器主動詢問例子，詢問標(biāo)準(zhǔn)，詢問對錯。對于機器不懂的例子，主動尋求外界幫助，尋求外部給予判斷標(biāo)準(zhǔn)。主動去找，去更多地方找，找更多東西（探索VS利用；行動VS反應(yīng)）
遷移學(xué)習(xí)：算法復(fù)用。通過以前學(xué)習(xí)的模型，將模型特征，遷移到其他事情上。
?? ?怎樣實現(xiàn)機器學(xué)習(xí)呢？
符號方法
連接學(xué)派方法
進(jìn)化學(xué)派方法
貝葉斯學(xué)派方法
類推學(xué)派方法
【圖，刑波老師對人工智能算法的分類】
（先把知識結(jié)構(gòu)化，然后需要啥的時候就去哪里找，結(jié)構(gòu)化類似你的書架，或者武器庫。例子：）
神經(jīng)元
生物神經(jīng)元（有突觸，可以和不同神經(jīng)元連接，接受其他神經(jīng)元的輸入，接受輸入之后，會對輸入做判斷并做出反應(yīng)，然后再輸出到其他神經(jīng)元。）
人工神經(jīng)元（感知機）
神經(jīng)網(wǎng)絡(luò)，多個生物神經(jīng)元連接的網(wǎng)絡(luò)
問題：啥是生物神經(jīng)元，細(xì)致了解一下
神經(jīng)網(wǎng)絡(luò)模型：自適應(yīng)的函數(shù)（60年代）
【圖】
（??算法的研究是通過人物生物的理解，通過數(shù)學(xué)公式的模仿）
神經(jīng)網(wǎng)絡(luò)2.0：卷積神經(jīng)網(wǎng)絡(luò)
將每次輸入有部分重疊，這一層輸入會包含上一層的部分輸入，會是計算更精準(zhǔn)，但計算量也更大了。（對神經(jīng)網(wǎng)絡(luò)算法進(jìn)行了優(yōu)化和精加工）
一邊接受輸入，一邊處理輸入
接受輸入的時候，把輸入的前因后果全部計算，且計算更多未輸入的情況
激勵函數(shù)：調(diào)節(jié)激活的程度
損失函數(shù)：判斷函數(shù)收斂
合起來：深度神經(jīng)網(wǎng)絡(luò)
（算法是各種不同函數(shù)和算法的多次組合，各種函數(shù)可能在各環(huán)節(jié)多次利用，其中不同函數(shù)也有不同的權(quán)重（函數(shù)就像樂高的基本元素，組合成算法，算法中也包含算法））
深度學(xué)習(xí)：more is better？
隱含層里有什么？特征學(xué)習(xí)
直接從中間層，用更概括的表征機型學(xué)習(xí)
（人臉識別：拆分層級看，第一層是一些基本的顏色，表皮；第二層是眼睛，鼻子特征；第三層是連。初級特征，中級特征，高級特征。其實也是拆解到最基本邏輯單元，然后判斷，歸類，組合）
深度學(xué)習(xí)工具箱
符號化學(xué)派vs經(jīng)驗化學(xué)派
（讓函數(shù)和算法自動組合，讓不懂函數(shù)不太懂算法的人就能用算法進(jìn)行深度學(xué)習(xí)）
從數(shù)據(jù)流圖角度看神經(jīng)網(wǎng)絡(luò)
反向遞歸算法（算梯度）
一個自動微分計算機梯度的程序
從向前數(shù)據(jù)流圖中自動退到出梯度流圖
??找到算法的流程（在哪用了啥函數(shù)，權(quán)重是啥）
存在的問題：在更多梯度的情況下，無法窮盡算法的邏輯
（比如在坑特別多的地方，你沒辦法用一次的計算算出所有坑的長啥樣，但不耽誤用）
深度學(xué)習(xí)真的是萬能的？
魔鬼在細(xì)節(jié)中
雖然深度學(xué)習(xí)計算結(jié)果看起來是好的，但中間函數(shù)的計算邏輯、權(quán)重是否真的完全合理？說不好?；蛘哒f不能完全理解里面每個函數(shù)和權(quán)重，因為里面的算法路徑是無法窮盡的。
逆向制造不包含對原理的了解，只有突然出問題了，你無法找到原因。
(特斯拉事故：如果突然出現(xiàn)一個圖片系統(tǒng)無法識別，造成錯誤的判斷，導(dǎo)致后果，你無法找到原因，也不知道為啥這個圖片識別不了，不知道為啥針對這個無法識別的圖像，做出了這樣的判斷)
（比如一個小孩子40歲做了總裁，你怎么確認(rèn)是因為他小時候被培養(yǎng)了哪些素質(zhì)導(dǎo)致最后成了總裁？無法確認(rèn)。每個事情都可能拿來解釋，但都無法確認(rèn)）
（所以問頭條的人，文章如何打標(biāo)簽，如何推薦，誰也不知道）
因果關(guān)系無法解釋
“表現(xiàn)的分”的黑箱
并不能直接反應(yīng)：邊界的正確性、模型的可用性、隨機性帶來的方差
深度學(xué)習(xí)目前更像是煉金術(shù)，不像現(xiàn)代化學(xué)。
歸回基礎(chǔ)理論：從煉金術(shù)師變成化學(xué)家
（穩(wěn)定的預(yù)期，理解其中的規(guī)則）
（臥槽，化學(xué)太牛逼了，把一個個東西歸結(jié)成基礎(chǔ)元素， 試驗出其本質(zhì)和與其他單元的反應(yīng)，牛逼牛逼）
真正機器學(xué)習(xí)專家眼里的世界
【圖，書架】
反例：過擬合
過渡訓(xùn)練，對于某種情況模型計算太準(zhǔn)了，這個模型就無法復(fù)制了（復(fù)制到類似或者可延展的環(huán)境下）。在遇到新的情況的時候，可能會出現(xiàn)極端判斷的情況。
【圖，過擬合】
機器學(xué)習(xí)的范式：現(xiàn)代基石與形式
概率，統(tǒng)計和測度論
再生核希爾伯特空間，表示定律
信息論
因為現(xiàn)在深度學(xué)習(xí)過于完備，導(dǎo)致研究人員過于依賴，對底層知識沒有認(rèn)知，可能無法突破深度學(xué)習(xí)的邊界
機器學(xué)習(xí)的范式：技巧
過擬合：
對其他事情也一樣，對現(xiàn)有模型模式過于依賴，底層知識不了解，可能很難突破其邊界，產(chǎn)生創(chuàng)新。
總結(jié)：什么是機器學(xué)習(xí)
理論和計算系統(tǒng)
針對復(fù)雜現(xiàn)實世界的數(shù)據(jù)，使用系統(tǒng)對數(shù)據(jù)的感知
【圖，很重要】
多樣的機器學(xué)習(xí)模式【圖】
多樣的模型和算法工具【圖】
人工智能技術(shù)要素【圖】
一個龐大的系統(tǒng)
從數(shù)據(jù)>任務(wù)》模型》算法》實現(xiàn)（團(tuán)建）》系統(tǒng)》設(shè)備（硬件）
什么是好系統(tǒng)
集成數(shù)學(xué)框架
可以被全面的分析和表征
能借用人類的先驗知識
能很好的泛化，并適應(yīng)各種數(shù)據(jù)和領(lǐng)域
能自助，自動的運行
能被人類理解，感知，解釋，重復(fù)
越學(xué)習(xí)發(fā)現(xiàn)自己越無知
越學(xué)習(xí)也越興奮，發(fā)現(xiàn)世界真好玩
如何實現(xiàn)好的機器學(xué)習(xí)？
問題：人工智能嫩否替代人類
人工智能目前只能處理有明確規(guī)則定義，有邊界的問題
人類的情感，人類面對不同問題時候的復(fù)雜思想，考慮背景做出的選擇，人工智能目前很難模擬。
問題：生物計算機如何實現(xiàn)人工智能，人工智能的邊界
生物計算機和量子計算機還在研發(fā)階段，還未完全實現(xiàn)，是否可編程不知道
假設(shè)已經(jīng)實現(xiàn)，且可編程。對計算速度和計算量可能會出現(xiàn)指數(shù)及提升。這只能解決計算量問題
目標(biāo)定義，價值判斷，任務(wù)界定。這是對人工智能更大的考驗。
這些問題無法通過算力的加強來解決
人能提出問題，發(fā)現(xiàn)問題，對問題進(jìn)行反問，提出問題是如何產(chǎn)生的，這還不知道。
問題：目前的人工智能，是否能制造人
為什么做AI的人一定要把制造人把人擊敗當(dāng)做目標(biāo)？
很多基本的問題還沒解決，想這個干啥？（預(yù)測地震？航空？）
超過人？還需要很多階段的提升
問題：
人類的先驗知識，和深度學(xué)習(xí)的結(jié)合進(jìn)展如何？
對于深度學(xué)習(xí)的可解釋性，有啥突破？
目前進(jìn)展都比較小，
現(xiàn)在可用深度學(xué)習(xí)解決的問題比較多，做解釋性問題的人現(xiàn)在比較少
因果關(guān)系還是不可解釋
對于人類先驗知識的利用
整合人類知識和建模中間有很大技術(shù)鴻溝，人類知識的歸類和數(shù)據(jù)驅(qū)使的建模方法暫時不太好聯(lián)結(jié)。
問題：投資人工智能或創(chuàng)業(yè)，選擇什么比較好
1、人：
創(chuàng)業(yè)團(tuán)隊是否得到了合適的訓(xùn)練，這很重要。這決定了是否能做成吹出的牛逼
如何求證團(tuán)隊的技術(shù)能力？
2、經(jīng)濟(jì)：
有些東西就是一門技術(shù)，無法形成規(guī)模，就無法產(chǎn)生價值（阿爾法狗只是一門技術(shù)，無法產(chǎn)生價值）
今日頭條的算法，是有經(jīng)濟(jì)價值的
要做有經(jīng)濟(jì)價值的事情
問題：生物工程加強人的能力
