向量的范數(shù)定義：

1.向量的范數(shù)可以簡單形象的理解為向量的長度，或者向量到零點的距離，或者相應的兩個點之間的距離。

2.向量的范數(shù)是一個函數(shù)||x||, 滿足:

非負性||x|| >= 0，齊次性||cx|| = |c| ||x|| ，三角不等式||x+y|| <= ||x|| + ||y||。

常用的向量的范數(shù)：

＊L1范數(shù):??||x|| 為x向量各個元素絕對值之和。

＊L2范數(shù):??||x||為x向量各個元素平方和的1/2次方，L2范數(shù)又稱Euclidean范數(shù)或者Frobenius范數(shù)

＊Lp范數(shù):??||x||為x向量各個元素絕對值p次方和的1/p次方

L1范數(shù)是L0范數(shù)的最優(yōu)凸近似，而且它比L0范數(shù)要容易優(yōu)化求解。所以大家才把目光和萬千寵愛轉于L1范數(shù)。

L∞范數(shù):??||x||為x向量各個元素絕對值最大那個元素的絕對值，如下：

橢球向量范數(shù): ||x||A??= sqrt[T(x)Ax]， T(x)代表x的轉置。定義矩陣C 為M個模式向量的協(xié)方差矩陣， 設C’是其逆矩陣，則Mahalanobis距離定義為||x||C’??= sqrt[T(x)C’x], 這是一個關于C’的橢球向量范數(shù)。

模型空間的限制

使用L1,L2范式建立模型時，損失函數(shù)可以寫成如下形式：

可以說成是將模型空間限制在w的某個范圍內，如下圖所示，在（w1,w2）空間上可以畫出目標函數(shù)的等高線，約束條件則是平面上半徑為C的一個norm ball，等高線與norm ball首次相交的地方就是最優(yōu)解。

通過對比可以看出，L1-ball和L2-ball的不同在于L1在和每個坐標軸相交的地方都有”角“出現(xiàn)，與目標函數(shù)相交的地方也是在角的位置。角的位置就容易產生稀疏性，例如圖中的交點處w1=0。L2就沒有這樣的性質，因為沒有角，相交的位置有稀疏性的概率就非常低，從直觀上解釋了為什么L1能夠產生稀疏性而L2就不行。

總結一下就是：L1范式會趨向于產生較少的特征，在特征選擇時很有用；L2會選擇更多特征，但對應權值接近零。