Classification

Classification分類的主要目的就是為我們的數(shù)據(jù)記錄打上標(biāo)簽。分類模型主要分為兩大類：1.Supervised 2.Unsupervised

監(jiān)督模型特點(diǎn)是訓(xùn)練的數(shù)據(jù)是擁有標(biāo)簽的，模型根據(jù)訓(xùn)練數(shù)據(jù)中的特征和標(biāo)簽來為只有特征的數(shù)據(jù)打上標(biāo)簽

非監(jiān)督模型特點(diǎn)是訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)都是沒有標(biāo)簽的，模型只根據(jù)特征來打標(biāo)簽，如聚類算法。

K Nearest Neighbors

K Nearest Neighbors

K Nearest Neighbors是一個lazy learner，及當(dāng)需要打標(biāo)簽的時候才會被運(yùn)行，不會對模型進(jìn)行持久化。原理是在要打標(biāo)簽的數(shù)據(jù)通過相似度度量來得到k個相似度最高的已打上標(biāo)簽的數(shù)據(jù)，通過投票的方式來判斷未打上標(biāo)簽的數(shù)據(jù)的標(biāo)簽，如k=7， 最近的中有3個為方形，4個為圓形，則該數(shù)據(jù)的標(biāo)簽為圓形。

缺點(diǎn)：1. 分類的樣本不均衡時，不易使用；

? ? ? ? ? ?2. 計(jì)算量大。

Decision Trees

Information Gain

where ki are values of the attribute i, N is the number of observations, vj is the jth partition of the observations according to the values of attribute i. Finally, I is a function that measures node impurity. There are different measures of impurity: GiniIndex, Entropy and misclassification error are the most common in the literature.

優(yōu)點(diǎn)：1. 可解釋性強(qiáng)

? ? ? ? ? ?2. 速度快

缺點(diǎn)：1. 容易過擬合（措施使用tuning）

References

1.Recommender Systems Handbook p39-p48