Linear regression一般只對low dimension適用，比如n=50, p=5，而且這五個變量還不存在multicolinearity.
Ridge Regression的提出就是為了解決multicolinearity的，加一個L2 penalty term也是因為算起來方便。然而它并不能shrink parameters to 0.所以沒法做variable selection。
LASSO是針對Ridge Regression的沒法做variable selection的問題提出來的，L1 penalty雖然算起來麻煩，沒有解析解，但是可以把某些系數(shù)shrink到0啊。
然而LASSO雖然可以做variable selection，但是不consistent啊，而且當n很小時至多只能選出n個變量；而且不能做group selection。于是有了在L1和L2 penalty之間做個權重就是elastic net.
針對不consistent有了adaptive lasso，針對不能做group selection有了group lasso, 在graphical models里有了graphical lasso。
然后有人說unbiasedness, sparsity and continuity這三條都滿足多好，于是有了MCP和SCAD同時滿足這三條性質。penalized regression太多了，上面提到的都是比較popular的方法了。Source
