機器學(xué)習(xí)是從已知數(shù)據(jù)中獲得規(guī)律，并利用規(guī)律對未知數(shù)據(jù)進行預(yù)測的技術(shù)。具體分為有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)。
一、數(shù)據(jù)集
在建立模型之前可將數(shù)據(jù)集分為訓(xùn)練集、測試集和驗證集。訓(xùn)練集用來訓(xùn)練模型，驗證集通過調(diào)整參數(shù)驗證模型的好壞，測試集用來評估模型的泛化能力。
二、誤差分析
誤差是算法實際預(yù)測輸出與樣本真實輸出之間的差異。
- 模型在訓(xùn)練集上的誤差稱為“訓(xùn)練誤差”
- 模型在總體樣本上的誤差稱為“泛化誤差”
- 模型在測試集上的誤差稱為“測試誤差”
在訓(xùn)練模型的時候，經(jīng)常會出現(xiàn)過擬合或欠擬合情況，可通過調(diào)整參數(shù)和增加損失函數(shù)等來解決。
過擬合是指模型能很好地擬合訓(xùn)練樣本，而無法很好地擬合測試樣本的現(xiàn)象，從而導(dǎo)致泛化性能下降。為防止“過擬合”，可以選擇減少參數(shù)、降低模型復(fù)雜度、正則化等。
欠擬合是指模型還沒有很好地訓(xùn)練出數(shù)據(jù)的一般規(guī)律，模型擬合程度不高的現(xiàn)象。為防止“欠擬合”，可以選擇調(diào)整參數(shù)、增加迭代深度、換用更加復(fù)雜的模型等。
交叉驗證
交叉驗證可以增加模型的泛化能力，提升其精準度。
三、有監(jiān)督學(xué)習(xí)
3.1 回歸模型
線性回歸
概念：
線性回歸是在樣本屬性和標簽中找到一個線性關(guān)系的方法，根據(jù)訓(xùn)練數(shù)據(jù)找到一個線性模型，使得模型產(chǎn)生的預(yù)測值與樣本標 簽的差距最小。
目標函數(shù)：
3.2 分類模型
3.2.1邏輯回歸
概念：
邏輯回歸是利用??????????????函數(shù)，將線性回歸產(chǎn)生的預(yù)測值壓縮到0和1之間。
目標函數(shù)：
3.2.2支持向量機
概念：
支持向量機是有監(jiān)督學(xué)習(xí)中最具有影響力的方法之一，是基于線性判別函數(shù)的一種模型。
目標函數(shù)：
3.3.3 決策樹
概念：
決策樹是一種基于樹結(jié)構(gòu)進行決策的機器學(xué)習(xí)方法。
3.3.4 隨機森林
概念：
隨機森林是用隨機的方式建立起一棵棵決策樹，然后由這些決策樹組成 一個森林，其中每棵決策樹之間沒有關(guān)聯(lián)，當(dāng)有一個新的樣本輸入時，就讓每棵樹獨立的做出判斷，按照多數(shù)原則決定該樣本的分類結(jié)果。
四、無監(jiān)督學(xué)習(xí)
4.1 聚類
概念：
聚類用來預(yù)測各樣本之間的關(guān)聯(lián)度，把關(guān)聯(lián)度大的樣本劃為同一類，關(guān)聯(lián)度小的樣本劃為不同類。
常見算法：
Kmeans聚類、密度聚類、均值漂移聚類等。
4.2 降維
概念：
降維是把維度較高、計算復(fù)雜的數(shù)據(jù)，轉(zhuǎn)化為維度低、易處理、且蘊含的信息不丟失或較少丟失的數(shù)據(jù)。
常見算法：
MDS（MultiDimensional Scaling 多維尺度變換）、ISOMAP（Isometric Mapping 等距特征映射） 、PCA（Principle component analysis 主成分分析）、LDA（Linear Discriminant Analysis 線性判別分析）、SNE（Stochastic Neighbor Embedding）、t-SNE（t-distributed stochastic neighbor embedding）。
五、總結(jié)
機器學(xué)習(xí)方法很多，容易混淆，需要不斷的復(fù)習(xí)和實踐才能更好的掌握其優(yōu)缺點和應(yīng)用場景。聚類方法一般是跟其他算法聯(lián)合起來用。
