最小二乘法
LinearRegression使用系數(shù)w 擬合模型，最小化實(shí)際觀(guān)測(cè)值和預(yù)測(cè)值的殘差平方和。
然而，最小二乘法的系數(shù)估計(jì)依賴(lài)于模型中變量的獨(dú)立性，當(dāng)模型中的解釋變量存在相關(guān)關(guān)系，會(huì)導(dǎo)致多重共線(xiàn)性，例如，數(shù)據(jù)收集沒(méi)有經(jīng)過(guò)實(shí)驗(yàn)設(shè)計(jì)。
嶺回歸
嶺回歸通過(guò)對(duì)系數(shù)大小增加懲罰解決了最小二乘法的一些問(wèn)題。嶺回歸使用L2正則
alpha大于等于0是一個(gè)復(fù)雜系數(shù)，控制著收縮量，alpha值越大，收縮量越大，系數(shù)越穩(wěn)健。
RidgeCV通過(guò)alpha系數(shù)的交叉驗(yàn)證來(lái)建立嶺回歸。
Lasso
Lasso是一個(gè)估計(jì)稀疏系數(shù)的線(xiàn)性模型，它傾向于選擇較少的參數(shù)值的解決方案，有效地減少結(jié)果所依賴(lài)的變量數(shù)。Lasso使用L1正則
參數(shù)alpha控制著估計(jì)系數(shù)的稀疏程度。設(shè)置alpha參數(shù)有兩種主要方法：交叉驗(yàn)證、基于模型選擇的信息準(zhǔn)則；
- 交叉驗(yàn)證：LassoCV和LassoLarsCV。LassoLarsCV建立在Least Angle Regression算法基礎(chǔ)上。對(duì)于有多重共線(xiàn)性的高維數(shù)據(jù)集，LassoCV通常是較好的。然而，LassoLarsCV在探索alpha參數(shù)方面更有優(yōu)勢(shì)，如果樣本數(shù)小于觀(guān)測(cè)值數(shù)，它通常比LassoCV更快。
- 基于模型選擇的信息準(zhǔn)則。LassoLarsIC提出使用Akaike信息準(zhǔn)則（AIC）和Bayes信息準(zhǔn)則（BIC）。這些信息準(zhǔn)則需要對(duì)結(jié)果自由度有適當(dāng)?shù)墓烙?jì)、來(lái)自大樣本、假設(shè)模型是正確的等等。
彈性網(wǎng)絡(luò)（Elastic-net）
彈性網(wǎng)絡(luò)是一種使用L1和L2正則化方法的線(xiàn)性回歸模型。它能夠?qū)W習(xí)只有很少非零權(quán)重的稀疏模型（比如Lasso），也保留了Ridge的正則化功能。我們使用 l1_ratio 參數(shù)去控制L1和L2。
當(dāng)有很多特征高度相關(guān)時(shí)彈性網(wǎng)絡(luò)很有用，Lasso可能是隨機(jī)的選擇了一個(gè)，而彈性網(wǎng)絡(luò)可能選擇了兩個(gè)。
ElasticNetCV能使用交叉驗(yàn)證來(lái)確定參數(shù)alpha和 l1_ratio。
最小角回歸（Least Angle Regression）
LARS是一種用于高維數(shù)據(jù)的回歸算法。
LARS的優(yōu)點(diǎn)：
- 當(dāng)維度比樣本數(shù)多的時(shí)候，能高效計(jì)算；
- 計(jì)算和向前選擇方法一樣快，復(fù)雜度和最小二乘法一樣；
- 生成完整的線(xiàn)性解路徑，在交叉驗(yàn)證或模型調(diào)整時(shí)很有用；
- 如果兩個(gè)變量對(duì)因變量有幾乎相等的關(guān)系，那么他們的系數(shù)也應(yīng)該按大致相同的速率增加。LARS的表現(xiàn)和直覺(jué)期望的一樣，也更穩(wěn)定；
- 很容易修改，產(chǎn)生其他的解決方案，例如Lasso。
LARS的不足：
由于LARS是基于殘差的迭代修正，對(duì)噪音非常敏感。
LARS Lasso
LARS Lasso是Lasso模型的LARS算法實(shí)現(xiàn)，不同于坐標(biāo)下降法，它將返回準(zhǔn)確值。
The algorithm is similar to forward stepwise regression, but instead of including variables at each step, the estimated parameters are increased in a direction equiangular to each one’s correlations with the residual.
推薦博文
作者對(duì)各種回歸算法從損失函數(shù)、優(yōu)化方法、驗(yàn)證方法、使用場(chǎng)景等方面進(jìn)行了總結(jié)。
http://www.cnblogs.com/pinard/p/6026343.html
