“古之善為士者，微妙玄通，深不可識(shí)。
夫唯不可識(shí)。
故強(qiáng)為之容:豫兮，若冬涉川；猶兮，若畏四鄰；儼兮，其若客；渙兮，若冰之將釋?zhuān)皇胭?，其若樸；曠兮，其若谷；渾兮，其若濁?br>
孰能濁以止，靜之徐清？
孰能安以久，動(dòng)之徐生？”[1]
在數(shù)據(jù)挖掘和數(shù)據(jù)分析中，經(jīng)常會(huì)遇到需要知道個(gè)體數(shù)據(jù)間差異的大小，進(jìn)而需要得到個(gè)體數(shù)據(jù)間的相似度，最常見(jiàn)的就是電商平臺(tái)中對(duì)于物品的推薦以及內(nèi)容平臺(tái)中對(duì)于信息的推送等等。
相似度就是兩個(gè)item之間的相似性，一般就是計(jì)算兩個(gè)item的特征之間的距離，距離越大，相似度越小；距離越小，相似度越大；也可以?xún)蓚€(gè)向量間的夾角來(lái)表示，夾角越大，相似度越??；夾角越小，相似度越大；
常用的有以下四種方法：
- 歐幾里得距離（Eucledian Distance）或稱(chēng) 歐氏距離
- 余弦相似度 （Cosine Similarity）
- 杰卡德相似系數(shù)（Jaccard Similarity coefficient）
- 皮爾遜相關(guān)系數(shù)（Pearson correlation）
歐幾里得距離 or 歐氏距離
兩個(gè)n維向量a(x11,x12,…,x1n)與 b(x21,x22,…,x2n)間的歐氏距離：
python代碼常用的有兩種，一種使用numpay，一種使用scipy：
import numpy as np
x=np.random.random(8)
y=np.random.random(8)
d1=np.sqrt(np.sum(np.square(x-y)))
d1
輸出：
1.1282380087788222
from scipy.spatial.distance import pdist
z=np.vstack([x,y])
d2=pdist(z)
d2
輸出：
array([ 1.12823801])
余弦相似度 （Cosine Similarity）
也可以叫余弦相似度。 幾何中夾角余弦可用來(lái)衡量?jī)蓚€(gè)向量方向的差異，機(jī)器學(xué)習(xí)中借用這一概念來(lái)衡量樣本向量之間的差異。余弦取值范圍為[-1,1]。求得兩個(gè)向量的夾角，并得出夾角對(duì)應(yīng)的余弦值，此余弦值就可以用來(lái)表征這兩個(gè)向量的相似性。夾角越小，趨近于0度，余弦值越接近于1，它們的方向更加吻合，則越相似。當(dāng)兩個(gè)向量的方向完全相反夾角余弦取最小值-1。當(dāng)余弦值為0時(shí)，兩向量正交，夾角為90度。因此可以看出，余弦相似度與向量的幅值無(wú)關(guān)，只與向量的方向相關(guān)。
兩個(gè)n維樣本點(diǎn)a(x11,x12,…,x1n)和b(x21,x22,…,x2n)的夾角余弦:
d3=np.dot(x,y)/(np.linalg.norm(x)*np.linalg.norm(y))
d3
輸出：
0.70543665237781283
z=np.vstack([x,y])
d4=1-pdist(z,'cosine')
d4
輸出：
array([ 0.70543665])
杰卡德相似系數(shù)（Jaccard Similarity coefficient）
杰卡德相似系數(shù)
兩個(gè)集合A和B的交集元素在A，B的并集中所占的比例，稱(chēng)為兩個(gè)集合的杰卡德相似系數(shù)，用符號(hào)J(A,B)表示。杰卡德相似系數(shù)是衡量?jī)蓚€(gè)集合的相似度一種指標(biāo)。
杰卡德距離
與杰卡德相似系數(shù)相反的概念是杰卡德距離(Jaccard distance)。杰卡德距離用兩個(gè)集合中不同元素占所有元素的比例來(lái)衡量?jī)蓚€(gè)集合的區(qū)分度。
杰卡德相似系數(shù)代碼實(shí)現(xiàn)：
import numpy as np
from scipy.spatial.distance import pdist
x=np.random.random(8)>0.5
y=np.random.random(8)>0.5
x=np.asarray(x,np.int32)
y=np.asarray(y,np.int32)
#方法一：根據(jù)公式求解
up=np.double(np.bitwise_and((x != y),np.bitwise_or(x != 0, y != 0)).sum())
down=np.double(np.bitwise_or(x != 0, y != 0).sum())
d1=(up/down)
#方法二：根據(jù)scipy庫(kù)求解
X=np.vstack([x,y])
d2=pdist(X,'jaccard')
皮爾遜相關(guān)系數(shù)（Pearson correlation）
皮爾遜相關(guān)系數(shù)的定義
前面提到的余弦相似度只與向量方向有關(guān)，但它會(huì)受到向量的平移影響，在夾角余弦公式中如果將 x 平移到 x+1, 余弦值就會(huì)改變。怎樣才能實(shí)現(xiàn)平移不變性？這就要用到皮爾遜相關(guān)系數(shù)（Pearson correlation），有時(shí)候也直接叫相關(guān)系數(shù)。
如果將夾角余弦公式寫(xiě)成：
表示向量x和向量y之間的夾角余弦，則皮爾遜相關(guān)系數(shù)則可表示為：
皮爾遜相關(guān)系數(shù)具有平移不變性和尺度不變性，計(jì)算出了兩個(gè)向量（維度）的相關(guān)性。
import numpy as np
x=np.random.random(8)
y=np.random.random(8)
#方法一：根據(jù)公式求解
x_=x-np.mean(x)
y_=y-np.mean(y)
d1=np.dot(x_,y_)/(np.linalg.norm(x_)*np.linalg.norm(y_))
#方法二：根據(jù)numpy庫(kù)求解
X=np.vstack([x,y])
d2=np.corrcoef(X)[0][1]
相關(guān)系數(shù)是衡量隨機(jī)變量X與Y相關(guān)程度的一種方法，相關(guān)系數(shù)的取值范圍是[-1,1]。相關(guān)系數(shù)的絕對(duì)值越大，則表明X與Y相關(guān)度越高。當(dāng)X與Y線性相關(guān)時(shí)，相關(guān)系數(shù)取值為1（正線性相關(guān)）或-1（負(fù)線性相關(guān)）。
-
老子《道德經(jīng)》第十五章，老子故里，中國(guó)鹿邑。 ?
