歡迎關(guān)注哈希大數(shù)據(jù)微信公眾號【哈希大數(shù)據(jù)】
昨天我們講了機(jī)器學(xué)習(xí)的“入坑指南”，今天我們給大家介紹機(jī)器學(xué)習(xí)專家Deniz Yuret用10張漂亮的圖來解釋機(jī)器學(xué)習(xí)的重要概念，哈希在這里給大家普及一下，同時加一些自己的見解！
1.Test and training error（測試集誤差和訓(xùn)練集誤差）
為什么訓(xùn)練集誤差不是越低越好呢？
上圖以模型復(fù)雜度為變量的測試集及訓(xùn)練集的誤差函數(shù)。大家從圖中可以看到隨著模型復(fù)雜度的增加訓(xùn)練集的預(yù)測誤差越來越小，但測試集的誤差確實(shí)先變小后變大。
測試集誤差可簡單認(rèn)為是由Bias(偏差)+Variance(方差)組成。Bias(偏差)代表模型不精準(zhǔn)度，Variance(方差)代表模型的穩(wěn)定度（既改變訓(xùn)練樣本模型參數(shù)的變化大小），當(dāng)模型復(fù)雜度底時模型精準(zhǔn)度底，但穩(wěn)定度高。當(dāng)模型復(fù)雜度高時模型精準(zhǔn)度高，但不穩(wěn)定，模型參數(shù)受數(shù)據(jù)樣本變化較大。
由上圖左邊第一圖可以清晰看出Bias在逐漸降低，Var在逐步提高。
2. Under and overfitting（欠擬合和過擬合）
欠擬合或者過度擬合的例子。下圖多項(xiàng)式曲線其中M代表多項(xiàng)式最高次，用紅色曲線表示，其中綠色曲線代表生成數(shù)據(jù)集的函數(shù)，圖中小圓圈是添加擾動后呈現(xiàn)的。從圖中可以看出底次擬合和高次擬合效果都不好。
3. Occam’s razor（奧卡姆剃刀理論）
為什么貝葉斯推理可以具體化奧卡姆剃刀原理。下面這張圖直觀解釋了為什么使用復(fù)雜模型原來是小概率事件這個問題。水平軸代表了可能的數(shù)據(jù)集D空間。貝葉斯定理以他們預(yù)測的數(shù)據(jù)出現(xiàn)的程度成比例地反饋模型。這些預(yù)測是通過在數(shù)據(jù)集D上歸一化概率分布來量化的。
數(shù)據(jù)的概率給出了一種模型Hi,P(D|Hi)被稱作支持Hi模型的證據(jù)。一個簡單的模型H1僅可以做到一種有限預(yù)測，以P(D|H1)展示；一個更加強(qiáng)大的模型H2，可以比模型H1擁有更加自由的參數(shù)，可以預(yù)測更多種類的數(shù)據(jù)集。但無論如何，H2在C1域中對數(shù)據(jù)集的預(yù)測做不到像H1那樣強(qiáng)大。假設(shè)兩個模型已經(jīng)分配了相同的先驗(yàn)概率，如果數(shù)據(jù)集落在C1區(qū)域，不那么強(qiáng)大的模型H1將會是更加合適的模型。
4. Feature combinations（特征組合）
為什么整體相關(guān)的特征單獨(dú)來看也許并不相關(guān)，這也是線性方法可能會失敗的原因。從Isabelle Guyon特征提取的幻燈片來看。
5. Irrelevant features（非相關(guān)屬性）
為什么無關(guān)緊要的特征會損害KNN，聚類，以及其它基于相似度度量的方法。下圖中左邊這幅圖展示了在低緯度情況下一條水平線將兩類數(shù)據(jù)很好地被分離開來。而右圖加入了一個新的維度——一條橫軸，它破壞了分組，在該情況下不屬于同一類別的反而會被分為一組，例如左邊一組、右邊一組。
未完待續(xù)，敬請期待明天的哈希大數(shù)據(jù)！?。?/p>
