人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的關(guān)系

創(chuàng)建人工智慧（人工智能 ）是目標(biāo)
讓機(jī)器自己學(xué)會(huì)學(xué)習(xí)（機(jī)器學(xué)習(xí) ）是手段
深度學(xué)習(xí)是模擬人的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)機(jī)器學(xué)習(xí)

怎么讓machine具有人工智慧？

1. 人類設(shè)定好的天生本能（即人為機(jī)器編寫(xiě)的程序，操作步驟，if-else規(guī)則集）
2. 后天習(xí)得的知識(shí)智慧

很多聊天機(jī)器人看似表現(xiàn)得不錯(cuò)，其實(shí)背后是人為制定的龐大規(guī)則集。
（hand-crafted AI）

image.png

hand-crafted AI和machine learning的區(qū)別

hand-crafted AI僵化地按照人制定的規(guī)則做事，machine learning使得機(jī)器能具有根據(jù)已有經(jīng)驗(yàn)推斷新的事物（舉一反三能力），并且教給它的經(jīng)驗(yàn)越多（投喂的data越多），表現(xiàn)的越好。

科學(xué)研究方法之假說(shuō)演繹法

從生活大量現(xiàn)象（蘋(píng)果掉到地上）中推測(cè)出背后的理論、模型、規(guī)則、規(guī)律（存在萬(wàn)有引力），并通過(guò)其他實(shí)際現(xiàn)象去驗(yàn)證這個(gè)理論。
這是人類研究學(xué)習(xí)的根本過(guò)程，機(jī)器學(xué)習(xí)也是如此。

抽象描述

機(jī)器學(xué)習(xí)可以理解為，從大量實(shí)際產(chǎn)生的data中，推斷、找出背后的function（模式、規(guī)則）的過(guò)程。

小明頭痛了，我們可以用西醫(yī)model，也可以用中醫(yī)model去解釋這個(gè)現(xiàn)象，model可視為理論模型的大框架。
但是即使在中醫(yī)模型下，不同的醫(yī)生對(duì)小明的病也有著不同的詮釋（a set of function），到底哪種具體的解釋（fucntion）更接近真相（the best function）？

機(jī)器學(xué)習(xí)的三大步驟

image.png

1. 定義function集 （提出各種猜想理論）
2. 評(píng)價(jià)各個(gè)function的表現(xiàn) （看這個(gè)理論能不能很好解釋已有的實(shí)際案例）
3. 選擇最好的function（最能反應(yīng)真實(shí)世界規(guī)律的function）

Learning Map

Regression

回歸是一種研究自變量與因變量之間關(guān)系的數(shù)學(xué)模型，常用于預(yù)測(cè)分析。
比如預(yù)測(cè)pm2.5案例就是研究自變量時(shí)間和因變量pm2.5濃度之間的關(guān)系，推斷出背后隱藏的數(shù)學(xué)規(guī)律模型（function），從而實(shí)現(xiàn)預(yù)測(cè)。

regression和classification的區(qū)別

回歸主要是找到x和y背后的function，并通過(guò)這個(gè)function，獲得從x映射到y(tǒng)的具體數(shù)值。
分類是把x映射到離散輸出變量y，并找到映射函數(shù)f。

沒(méi)有什么本質(zhì)區(qū)別，區(qū)別主要在于regression輸出是連續(xù)的，classification輸出是離散的。

image.png

分類問(wèn)題分為二分類和多分類，二分類可視為特殊的多分類。

regression和classification的核心，都是找到背后的function。但是候選function無(wú)窮無(wú)盡，所以一般先確立大方向的model （如線性模型或非線性模型），再在某個(gè)函數(shù)模型框架下調(diào)整具體的參數(shù)，找到best function。

有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)的區(qū)別

有監(jiān)督學(xué)習(xí)，就是有一個(gè)老師告訴你這是貓，這是狗（label），然后你獲得經(jīng)驗(yàn)了，之后看到類似貓的物種，你就能機(jī)智地推斷出這是貓。

但是我們回到遠(yuǎn)古時(shí)代，當(dāng)時(shí)并沒(méi)有貓和狗的概念。
標(biāo)簽和名字，都是用于指代和區(qū)分某一類事物。

image.png

人創(chuàng)造知識(shí)的過(guò)程是先分類（聚類），后命名（貼上label）。
一開(kāi)始有一堆貓，人們通過(guò)觀察辨析，把貓根據(jù)不同的形態(tài)特征，生活習(xí)性等分為若干品種，并把有如下特征標(biāo)準(zhǔn)的貓命名為波斯貓，把具有另某些特征的貓命名為英國(guó)短毛貓。

image.png

我們現(xiàn)在的學(xué)習(xí)大多是有監(jiān)督學(xué)習(xí)，即根據(jù)前人總結(jié)的經(jīng)驗(yàn)（課程、書(shū)本、交談），有人告訴你長(zhǎng)這樣的是貓，這么做是錯(cuò)的。而無(wú)監(jiān)督學(xué)習(xí)則通常出現(xiàn)于缺乏priori knowledge的知識(shí)起源期，因此十分困難。

比如學(xué)英語(yǔ)，如果給你一堆純英語(yǔ)的文章讓你自己學(xué)，沒(méi)有老師教你也沒(méi)有詞典，可以想象一下有多困難，這就是無(wú)監(jiān)督學(xué)習(xí)。
但是如果有人告訴你apple是蘋(píng)果，red是紅色（label），給你一本詞典，學(xué)起來(lái)就容易多了，這就是有監(jiān)督學(xué)習(xí)。

Structure Learning

image.png

Structure Learning中機(jī)器輸出結(jié)構(gòu)化的object，與回歸和分類問(wèn)題相比，Structure Learning其實(shí)占據(jù)真實(shí)世界的更大比重。

Supervised和Reinforcement learning的區(qū)別。

Supervised learning類似有個(gè)老師手把手教你每一步該怎么做，哪一步做錯(cuò)了。
Reinforcement learning是告訴機(jī)器最終的結(jié)果和評(píng)價(jià)（比如這局棋輸了），但不告訴它哪里做的不好（需要machine自己反思）。

Reinforcement learning更符合人類學(xué)習(xí)的情境。真實(shí)社會(huì)中，很少有人告訴你具體怎么做，哪里做得不好需要改進(jìn)，這些需要你根據(jù)外部的評(píng)價(jià)反饋進(jìn)行自我反思調(diào)整。

當(dāng)然，有老師教，有前人經(jīng)驗(yàn)肯定是最好的（data、priori knowledge），一般沒(méi)有data做Supervised learning的情況下，才去做Reinforcement learning。

Reinforcement learning（比如不先教AlphaGo棋譜，就讓它下起）
一般人學(xué)習(xí)的過(guò)程，都是先教基本知識(shí)（Supervised learning），再于實(shí)踐中反思修正（Reinforcement learning）。