多元線性回歸模型中，如果所有特征一起上，容易造成過擬合使測試數(shù)據(jù)誤差方差過大；因此減少不必要的特征，簡化模型是減小方差的一個重要步驟。除了直接對特征篩選，來也可以進(jìn)行特征壓縮，減少某些不重要的特征系數(shù)，系數(shù)壓縮趨近于0就可以認(rèn)為舍棄該特征。

嶺回歸（Ridge Regression）和Lasso回歸是在普通最小二乘線性回歸的基礎(chǔ)上加上正則項以對參數(shù)進(jìn)行壓縮懲罰。

首先，對于普通的最小二乘線性回歸，它的代價函數(shù)是：

線性回歸RSS

通過擬合系數(shù)β來使RSS最小。方法很簡單，求偏導(dǎo)利用線性代數(shù)解方程組即可。

根據(jù)線性代數(shù)的理論可知，只要樣本量合適，它就存在唯一解，也就是該模型的最優(yōu)解。

這么做盡管使RSS達(dá)到了最小，它還是把所有的特征看作同樣重要的程度來求解，并沒有做任何特征選擇，因此存在過擬合的可能。

嶺回歸在OLS回歸模型的RSS上加上了懲罰項（l2范數(shù)），這樣代價函數(shù)就成為：

嶺回歸的代價函數(shù)

λ是一個非負(fù)的調(diào)節(jié)參數(shù)，可以看到：當(dāng)λ=0時，此時它與RSS一致，沒有起到任何懲罰作用；當(dāng)λ -> ∞時，它的懲罰項也就是無窮大，而為了使代價函數(shù)最小，只能壓縮系數(shù)β趨近于0。

但是因為λ不可能為無窮大，二次項求偏導(dǎo)時總會保留變量本身，所以事實上它也不可能真正地將某個特征壓縮為0。盡管系數(shù)較小可以有效減小方差，但依然留著一大長串特征會使模型不便于解釋。這是嶺回歸的缺點。

lasso回歸的正項則就把二次項改成了一次絕對值（l1范數(shù)），具體為：

lasso回歸的代價函數(shù)

一次項求導(dǎo)可以抹去變量本身，因此lasso回歸的系數(shù)可以為0。這樣可以起來真正的特征篩選效果。

無論對于嶺回歸還是lasso回歸，本質(zhì)都是通過調(diào)節(jié)λ來實現(xiàn)模型誤差vs方差的平衡調(diào)整。

訓(xùn)練構(gòu)建嶺回歸模型

> library(ISLR)
> Hitters = na.omit(Hitters)
> x = model.matrix(Salary~., Hitters)[,-1] # 構(gòu)建回歸設(shè)計矩陣
> y = Hitters$Salary
> 
> library(glmnet)
> grid = 10^seq(10,-2,length = 100) # 生成100個λ值
> ridge.mod = glmnet(x,y,alpha = 0,lambda = grid) # alpha為0表示嶺回歸模型，為1表示lasso回歸模型
> 
> dim(coef(ridge.mod)) # 20*100的系數(shù)矩陣。20是19個特征+截距項，100是λ值
[1]  20 100
> 
> # 顯然可見l2范數(shù)越大，系數(shù)就越小
> ridge.mod$lambda[50]
[1] 11497.57
> coef(ridge.mod)[,50]
  (Intercept)         AtBat          Hits         HmRun          Runs 
407.356050200   0.036957182   0.138180344   0.524629976   0.230701523 
          RBI         Walks         Years        CAtBat         CHits 
  0.239841459   0.289618741   1.107702929   0.003131815   0.011653637 
       CHmRun         CRuns          CRBI        CWalks       LeagueN 
  0.087545670   0.023379882   0.024138320   0.025015421   0.085028114 
    DivisionW       PutOuts       Assists        Errors    NewLeagueN 
 -6.215440973   0.016482577   0.002612988  -0.020502690   0.301433531 
> ridge.mod$lambda[60]
[1] 705.4802
> coef(ridge.mod)[,60]
 (Intercept)        AtBat         Hits        HmRun         Runs 
 54.32519950   0.11211115   0.65622409   1.17980910   0.93769713 
         RBI        Walks        Years       CAtBat        CHits 
  0.84718546   1.31987948   2.59640425   0.01083413   0.04674557 
      CHmRun        CRuns         CRBI       CWalks      LeagueN 
  0.33777318   0.09355528   0.09780402   0.07189612  13.68370191 
   DivisionW      PutOuts      Assists       Errors   NewLeagueN 
-54.65877750   0.11852289   0.01606037  -0.70358655   8.61181213 
> 
> # 輸入一個新的λ，比如50，來預(yù)測系數(shù)
> predict(ridge.mod,s=50,type="coefficients")[1:20,]
  (Intercept)         AtBat          Hits         HmRun          Runs 
 4.876610e+01 -3.580999e-01  1.969359e+00 -1.278248e+00  1.145892e+00 
          RBI         Walks         Years        CAtBat         CHits 
 8.038292e-01  2.716186e+00 -6.218319e+00  5.447837e-03  1.064895e-01 
       CHmRun         CRuns          CRBI        CWalks       LeagueN 
 6.244860e-01  2.214985e-01  2.186914e-01 -1.500245e-01  4.592589e+01 
    DivisionW       PutOuts       Assists        Errors    NewLeagueN 
-1.182011e+02  2.502322e-01  1.215665e-01 -3.278600e+00 -9.496680e+00 
> 
> # 劃分訓(xùn)練集和測試集
> set.seed(1)
> train = sample(1:nrow(x),nrow(x)/2)
> test = (-train)
> y.test = y[test]
> 
> # 訓(xùn)練模型，并計算λ=4時的MSE
> ridge.mod = glmnet(x[train,],y[train],alpha = 0,lambda = grid,thresh = 1e-12)
> ridge.pred = predict(ridge.mod,s=4,newx = x[test,])
> mean((ridge.pred - y.test)^2)
[1] 101036.8
> 
> # 增大λ為10的10^10，此時可視為各個特征都被壓縮趨近為0，基本只剩截距項起作用
> ridge.pred = predict(ridge.mod,s=1e10,newx = x[test,])
> mean((ridge.pred - y.test)^2) # MSE更大
[1] 193253.1
> 
> # 計算當(dāng)λ=0也就是不加懲罰的最小二乘回歸
> ridge.pred = predict(ridge.mod,s=0,newx = x[test,])
> mean((ridge.pred - y.test)^2) # MSE減小
[1] 114723.6
> 
> ## 以上結(jié)果說明，如果λ選得不合適，結(jié)果不一定就比最小二乘回歸模型更優(yōu)。至于怎么選擇λ，就用交叉驗證法。
> 
> set.seed(1)
> cv.out = cv.glmnet(x[train,],y[train],alpha=0)
> plot(cv.out)
> bestlam = cv.out$lambda.min
> bestlam # MSE最小的λ約為212
[1] 211.7416
> 
> ridge.pred = predict(ridge.mod,s=bestlam,newx = x[test,])
> mean((ridge.pred - y.test)^2) # MSE減小
[1] 96015.51
> 
> # 基于整個數(shù)據(jù)集構(gòu)建嶺回歸模型
> out = glmnet(x,y,alpha = 0)
> predict(out,type = "coefficients",s=bestlam)[1:20,]
 (Intercept)        AtBat         Hits        HmRun         Runs 
  9.88487157   0.03143991   1.00882875   0.13927624   1.11320781 
         RBI        Walks        Years       CAtBat        CHits 
  0.87318990   1.80410229   0.13074381   0.01113978   0.06489843 
      CHmRun        CRuns         CRBI       CWalks      LeagueN 
  0.45158546   0.12900049   0.13737712   0.02908572  27.18227535 
   DivisionW      PutOuts      Assists       Errors   NewLeagueN 
-91.63411299   0.19149252   0.04254536  -1.81244470   7.21208390 
> 
> ## 可見嶺回歸模型還是19個特征，沒有舍棄任何特征！

cv.out的圖如下：

cv.out

當(dāng)log(λ)為5.+時（log(bestlam)=5.3），MSE最小。

訓(xùn)練構(gòu)建lasso回歸模型

> lasso.mod = glmnet(x[train,],y[train],alpha = 1,lambda = grid)
> plot(lasso.mod) # 可見有些特征的系數(shù)確實可以為0
> 
> set.seed(1)
> cv.out = cv.glmnet(x[train,],y[train],alpha =1)
> plot(cv.out)
> bestlam = cv.out$lambda.min
> bestlam # MSE最小的λ約為16
[1] 16.78016
> lasso.pred = predict(lasso.mod,s=bestlam,newx = x[test,])
> mean((lasso.pred-y.test)^2)
[1] 100743.4
> 
> ## 可見lasso回歸模型與嶺回歸模型MSE差不多，甚至嶺回歸模型的MSE更小一些。
> 
> out = glmnet(x,y,alpha = 1,lambda = grid)
> lasso.coef = predict(out,type="coefficients",s=bestlam)[1:20,]
> lasso.coef
 (Intercept)        AtBat         Hits        HmRun         Runs 
  18.5394844    0.0000000    1.8735390    0.0000000    0.0000000 
         RBI        Walks        Years       CAtBat        CHits 
   0.0000000    2.2178444    0.0000000    0.0000000    0.0000000 
      CHmRun        CRuns         CRBI       CWalks      LeagueN 
   0.0000000    0.2071252    0.4130132    0.0000000    3.2666677 
   DivisionW      PutOuts      Assists       Errors   NewLeagueN 
-103.4845458    0.2204284    0.0000000    0.0000000    0.0000000 
> 
> ## 可見lasso回歸模型中，有12個特征系數(shù)被壓縮至0。相對于嶺回歸模型，這里的lasso回歸模型以犧牲一部分的準(zhǔn)確度為代價，換取更簡潔的模型，增加模型的可解釋性。這是lasso回歸的優(yōu)勢。