1、余弦距離

余弦距離，也稱為余弦相似度，是用向量空間中兩個向量夾角的余弦值作為衡量兩個個體間差異的大小的度量。

向量，是多維空間中有方向的線段，如果兩個向量的方向一致，即夾角接近零，那么這兩個向量就相近。而要確定兩個向量方向是否一致，這就要用到余弦定理計算向量的夾角。

余弦定理描述了三角形中任何一個夾角和三個邊的關(guān)系。給定三角形的三條邊，可以使用余弦定理求出三角形各個角的角度。假定三角形的三條邊為a，b和c，對應(yīng)的三個角為A，B和C，那么角A的余弦為：

如果將三角形的兩邊b和c看成是兩個向量，則上述公式等價于：

其中分母表示兩個向量b和c的長度，分子表示兩個向量的內(nèi)積。

舉一個具體的例子，假如新聞X和新聞Y對應(yīng)向量分別是：

x1, x2, ..., x6400和

y1, y2, ..., y6400

則，它們之間的余弦距離可以用它們之間夾角的余弦值來表示：

當(dāng)兩條新聞向量夾角余弦等于1時，這兩條新聞完全重復(fù)（用這個辦法可以刪除爬蟲所收集網(wǎng)頁中的重復(fù)網(wǎng)頁）；當(dāng)夾角的余弦值接近于1時，兩條新聞相似（可以用作文本分類）；夾角的余弦越小，兩條新聞越不相關(guān)。

2、余弦距離和歐氏距離的對比

從上圖可以看出，余弦距離使用兩個向量夾角的余弦值作為衡量兩個個體間差異的大小。相比歐氏距離，余弦距離更加注重兩個向量在方向上的差異。

借助三維坐標(biāo)系來看下歐氏距離和余弦距離的區(qū)別：

從上圖可以看出，歐氏距離衡量的是空間各點的絕對距離，跟各個點所在的位置坐標(biāo)直接相關(guān)；而余弦距離衡量的是空間向量的夾角，更加體現(xiàn)在方向上的差異，而不是位置。如果保持A點位置不變，B點朝原方向遠離坐標(biāo)軸原點，那么這個時候余弦距離??是保持不變的（因為夾角沒有發(fā)生變化），而A、B兩點的距離顯然在發(fā)生改變，這就是歐氏距離和余弦距離之間的不同之處。

歐氏距離和余弦距離各自有不同的計算方式和衡量特征，因此它們適用于不同的數(shù)據(jù)分析模型：

歐氏距離能夠體現(xiàn)個體數(shù)值特征的絕對差異，所以更多的用于需要從維度的數(shù)值大小中體現(xiàn)差異的分析，如使用用戶行為指標(biāo)分析用戶價值的相似度或差異。

余弦距離更多的是從方向上區(qū)分差異，而對絕對的數(shù)值不敏感，更多的用于使用用戶對內(nèi)容評分來區(qū)分興趣的相似度和差異，同時修正了用戶間可能存在的度量標(biāo)準(zhǔn)不統(tǒng)一的問題（因為余弦距離對絕對數(shù)值不敏感）。

3、杰卡德相似性度量

（1）杰卡德相似系數(shù)

兩個集合A和B交集元素的個數(shù)在A、B并集中所占的比例，稱為這兩個集合的杰卡德系數(shù)，用符號 J(A,B) 表示。杰卡德相似系數(shù)是衡量兩個集合相似度的一種指標(biāo)（余弦距離也可以用來衡量兩個集合的相似度）。

（2）杰卡德距離

與杰卡德相似系數(shù)相反的概念是杰卡德距離（Jaccard Distance），可以用如下公式來表示：

杰卡德距離用兩個兩個集合中不同元素占所有元素的比例來衡量兩個集合的區(qū)分度。

（3）杰卡德相似系數(shù)的應(yīng)用

假設(shè)樣本A和樣本B是兩個n維向量，而且所有維度的取值都是0或1。例如，A（0,1,1,0）和B（1,0,1,1）。我們將樣本看成一個集合，1表示集合包含該元素，0表示集合不包含該元素。

p：樣本A與B都是1的維度的個數(shù)

q：樣本A是1而B是0的維度的個數(shù)

r：樣本A是0而B是1的維度的個數(shù)

s：樣本A與B都是0的維度的個數(shù)

那么樣本A與B的杰卡德相似系數(shù)可以表示為：

此處分母之所以不加s的原因在于：

對于杰卡德相似系數(shù)或杰卡德距離來說，它處理的都是非對稱二元變量。非對稱的意思是指狀態(tài)的兩個輸出不是同等重要的，例如，疾病檢查的陽性和陰性結(jié)果。

按照慣例，我們將比較重要的輸出結(jié)果，通常也是出現(xiàn)幾率較小的結(jié)果編碼為1（例如HIV陽性），而將另一種結(jié)果編碼為0（例如HIV陰性）。給定兩個非對稱二元變量，兩個都取1的情況（正匹配）認(rèn)為比兩個都取0的情況（負(fù)匹配）更有意義。負(fù)匹配的數(shù)量s認(rèn)為是不重要的，因此在計算時忽略。

（4）杰卡德相似度算法分析

杰卡德相似度算法沒有考慮向量中潛在數(shù)值的大小，而是簡單的處理為0和1，不過，做了這樣的處理之后，杰卡德方法的計算效率肯定是比較高的，畢竟只需要做集合操作。

4、調(diào)整余弦相似度算法（Adjusted Cosine Similarity）

余弦相似度更多的是從方向上區(qū)分差異，而對絕對的數(shù)值不敏感，因此沒法衡量每個維度上數(shù)值的差異，會導(dǎo)致這樣一種情況：

用戶對內(nèi)容評分，按5分制，X和Y兩個用戶對兩個內(nèi)容的評分分別為（1,2）和（4,5），使用余弦相似度得到的結(jié)果是0.98，兩者極為相似。但從評分上看X似乎不喜歡2這個 內(nèi)容，而Y則比較喜歡，余弦相似度對數(shù)值的不敏感導(dǎo)致了結(jié)果的誤差，需要修正這種不合理性就出現(xiàn)了調(diào)整余弦相似度，即所有維度上的數(shù)值都減去一個均值，比如X和Y的評分均值都是3，那么調(diào)整后為（-2，-1）和（1,2），再用余弦相似度計算，得到-0.8，相似度為負(fù)值并且差異不小，但顯然更加符合現(xiàn)實。

那么是否可以在（用戶-商品-行為數(shù)值）矩陣的基礎(chǔ)上使用調(diào)整余弦相似度計算呢？從算法原理分析，復(fù)雜度雖然增加了，但是應(yīng)該比普通余弦夾角算法要強。

參考文獻：

[1] 不同相關(guān)性度量方法的線上效果對比與分析 http://blog.sina.com.cn/s/blog_4b59de07010166z9.html

[2] 數(shù)據(jù)挖掘概念與技術(shù) Jiawei Han等