正則化算法（Regularization Algorithms）
回歸的拓展，會(huì)基于模型復(fù)雜性對(duì)其進(jìn)行懲罰，它喜歡相對(duì)簡(jiǎn)單能夠更好的泛化的模型。
嶺回歸（Ridge Regression）
最小絕對(duì)收縮與選擇算子（LASSO）
GLASSO
彈性網(wǎng)絡(luò)（Elastic Net）
最小角回歸（Least-Angle Regression）
優(yōu)缺點(diǎn)：
其懲罰會(huì)減少過(guò)擬合；造成欠擬合；很難校準(zhǔn)；
集成算法（Ensemble Algorithms）
多個(gè)較弱的模型集成模型組，模型可以單獨(dú)進(jìn)行訓(xùn)練，預(yù)測(cè)能以某種方式結(jié)合去做總體預(yù)測(cè)；比使用單個(gè)模型預(yù)測(cè)出來(lái)的結(jié)果要精確；
Boosting
Bootstrapped Aggregation（Bagging）
AdaBoost
層疊泛化（Stacked Generalization）（blending）
梯度推進(jìn)機(jī)（Gradient Boosting Machines，GBM）
梯度提升回歸樹(shù)（Gradient Boosted Regression Trees，GBRT）
隨機(jī)森林（Random Forest）
決策樹(shù)算法（Decision Tree Algorithm）
決策樹(shù)算法（Decision Tree Algorithm）
使用一個(gè)決策樹(shù)作為一個(gè)預(yù)測(cè)模型，它將對(duì)一個(gè) item（表征在分支上）觀察所得映射成關(guān)于該 item 的目標(biāo)值的結(jié)論（表征在葉子中）。
目標(biāo)是可變的，可以采一組有限值，被稱為分類(lèi)樹(shù)；在這些樹(shù)結(jié)構(gòu)中，葉子表示類(lèi)標(biāo)簽，分支表示表征這些類(lèi)標(biāo)簽的連接的特征。分類(lèi)和回歸樹(shù)（Classification and Regression Tree，CART）
I- terative Dichotomiser 3（ID3）C4.5 和 C5.0（一種強(qiáng)大方法的兩個(gè)不同版本）
優(yōu)缺點(diǎn)：
非參數(shù)易理解；容易過(guò)擬合 陷入局部最??；沒(méi)有在線學(xué)習(xí)；
回歸（Regression）
能在給定自變量的條件下估計(jì)出因變量的條件期望；
普通最小二乘回歸（Ordinary Least Squares Regression，OLSR）
線性回歸（Linear Regression）
邏輯回歸（Logistic Regression）
逐步回歸（Stepwise Regression）
多元自適應(yīng)回歸樣條（Multivariate Adaptive Regression Splines，MARS）
本地散點(diǎn)平滑估計(jì)（Locally Estimated Scatterplot Smoothing，LOESS）
優(yōu)缺點(diǎn)：
嚴(yán)格假設(shè)；異常值處理；
人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）
受生物神經(jīng)網(wǎng)絡(luò)啟發(fā)，模式匹配，用于回歸和分類(lèi)；
感知器
反向傳播
Hopfield 網(wǎng)絡(luò)
徑向基函數(shù)網(wǎng)絡(luò)（Radial Basis Function Network，RBFN）
深度學(xué)習(xí)（Deep Learning）
支持向量機(jī)（Support Vector Machine）
降維算法（Dimensionality Reduction Algorithms）
聚類(lèi)算法（Clustering Algorithms）
基于實(shí)例的算法（Instance-based Algorithms）
貝葉斯算法（Bayesian Algorithms）
關(guān)聯(lián)規(guī)則學(xué)習(xí)算法（Association Rule Learning Algorithms）
圖模型（Graphical Models）
https://zhuanlan.zhihu.com/p/25327755
