# L0, L1, L2規(guī)則化
1. L0范數(shù)是指向量中非0的元素的個數(shù)。如果我們用L0范數(shù)來規(guī)則化一個參數(shù)矩陣W的話，就是希望W的大部分元素都是0。
2. L1范數(shù)是指向量中各個元素絕對值之和，也有個美稱叫“稀疏規(guī)則算子”（Lasso regularization） (L0, L1可以實現(xiàn)參數(shù)矩陣W的稀疏化，即更多的0值，這樣有利于**特征選擇(Feature Selection)**）
3. L2范數(shù)是指向量各元素的平方和然后求平方根。我們讓L2范數(shù)的規(guī)則項||W||2最小，可以使得W的每個元素都很小，都接近于0，但與L1范數(shù)不同，它不會讓它等于0，而是接近于0；而越小的參數(shù)說明模型越簡單，越簡單的模型則越不容易產(chǎn)生過擬合現(xiàn)象。
