目錄：
1.1整體大綱
1.2基本術(shù)語
1.3假設(shè)空間
1.4歸納偏好
1.1機(jī)器學(xué)習(xí)的整體大綱：
經(jīng)驗(yàn)與模型的關(guān)系:經(jīng)驗(yàn)（在計(jì)算機(jī)系統(tǒng)中，叫數(shù)據(jù)）產(chǎn)生模型（學(xué)習(xí)算法）,學(xué)習(xí)算法利用經(jīng)驗(yàn)（數(shù)據(jù)）提供相應(yīng)的判斷。
按照我的理解，就是整合數(shù)據(jù)和分析數(shù)據(jù)的一個(gè)過程。我們通過算法、模型來對(duì)數(shù)據(jù)（足夠多）進(jìn)行分析和作出判斷。應(yīng)該把重點(diǎn)放在模型上面，即如何選擇適合的算法、模型。
1.2基本術(shù)語的解釋
"色澤" "根蒂" "敲聲"，稱為")副主" (attribute) 或"特征" (feature);
?屬性上的取值，例如"青綠" "烏黑"，稱為")副主值" (attribute va1ue).?
屬性行成的空間稱為"屬性空間" (attribute space)、 "樣本空間" (samp1e space)或"輸入 空間"
D = {Xl，X2..， Xm} }表示包含 m 個(gè)示例的數(shù)據(jù)集，每個(gè)示例集由d個(gè)屬性，每個(gè)示例Xi=（Xi1，Xi2，……Xid），Xij是Xi在第i個(gè)屬性上的取值。
擁有了標(biāo)記信息的示例，則稱為"樣例" (examp1e). 一般地，用(Xi， Yi) 表示第 4 個(gè)樣例，其中執(zhí) y屬于Y 是示例 Xi 的標(biāo)記， Y 是所有標(biāo)記的集合， 亦稱"標(biāo)記空間"或"輸出空間
監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)：學(xué)習(xí)任務(wù)可以分為兩類，監(jiān)督學(xué)習(xí)（分類、回歸，有標(biāo)記）和無監(jiān)督學(xué)習(xí)（聚類，無標(biāo)記）
分類：預(yù)測的是離散值，如“好瓜”“壞瓜”（回歸是對(duì)真實(shí)值的一種逼近預(yù)測）
回歸：預(yù)測的是連續(xù)值，如西瓜成熟度0.65，0.78（分類并沒有逼近的概念，最終正確結(jié)果只有一個(gè)，錯(cuò)誤的就是錯(cuò)誤的）
聚類：學(xué)習(xí)算法在做聚類分析的時(shí)候是自動(dòng)產(chǎn)生的類別，“淺色瓜”“深色瓜”這樣的概念我們事先是不知道的，樣本無標(biāo)記信息
特征向量：即示例，反映事件或?qū)ο笤谀撤矫娴男再|(zhì)。例如：西瓜的色澤，敲聲
二分類：正類，反類。樣本空間——>輸出空間；輸出空間={+1，-1}或{0，1}
多分類：|輸出空間|>2
1.3假設(shè)空間
假設(shè)空間：每種特征的組合都認(rèn)為是一個(gè)假設(shè)（hypothesis），所有假設(shè)的集合我們稱之為假設(shè)空間。如果“色澤”，“根蒂”，“敲聲”分別有3，2，2種可能，（每種特征值都要加一種任意值可能）那么假設(shè)空間的規(guī)模就是4x3x3 + 1 = 37。最后結(jié)果加1是由于存在一種可能就是根本沒有“好瓜”這個(gè)概念，或者說“好瓜”跟這些特征都沒有關(guān)系。
假設(shè)的表示一旦確定，假設(shè)空間及其規(guī)模大小就確定了. 這里我們的假設(shè)空間由形如"(色澤=?)八(根蒂=?) ^ (敲聲=?)"的可能取值 所形成的假設(shè)組成
1.4歸納偏好
歸納偏好：如果沒有偏好，所有的假設(shè)都是等效的，那么輸出的判斷將會(huì)沒有意義。
如何選擇好的算法？
第一，
奧卡姆剃刀原則：（若有多個(gè)假設(shè)與觀察一致，則選最簡單的那個(gè)）；
奧卡姆剃刀不適用：在問題出現(xiàn)的機(jī)會(huì)相同，所有問題同等重要，對(duì)于任意兩個(gè)學(xué)習(xí)算法，其總誤差相等，期望值相同。
第二，
NFL定理：算法不是萬能的，具體問題具體分析。
