K-近鄰
步驟:
1、初始化距離為最大值
2、計(jì)算未知樣本和每個(gè)訓(xùn)練樣本的距離dist
3、得到目前k個(gè)最鄰近樣本中的最大距離maxdist
4、如果dist小于maxdist，則將該訓(xùn)練樣本作為K-最鄰近樣本
5、重復(fù)步驟2～4，直到未知樣本和所有訓(xùn)練樣本的距離都算完
6、統(tǒng)計(jì)K個(gè)最鄰近樣本中每個(gè)類別出現(xiàn)的次數(shù)
7、選擇出現(xiàn)頻率最大的類別作為未知樣本的類別
貝葉斯分類
貝葉斯定理能夠告訴我們?nèi)绾卫眯伦C據(jù)修改已有看法。
原理：對(duì)于給出的待分項(xiàng)，求解在此項(xiàng)出現(xiàn)的條件下各個(gè)類別出現(xiàn)的概率，哪個(gè)最大，就認(rèn)為此待分項(xiàng)屬于哪個(gè)類別。
步驟：
1、設(shè)x = {a1,a2,...am}為一個(gè)待分項(xiàng)類，而每個(gè)a為x的一個(gè)特征屬性
2、有類別集合C = {y1,y2,...yn}
3、計(jì)算P(y1|x)，P(y2|x),...P(yn|x)
4、如果P(yk|x) = max{P(y1|x)，P(y2|x),...P(yn|x)},則x屬于yk
神經(jīng)網(wǎng)絡(luò)模型
神經(jīng)網(wǎng)絡(luò)通常需要訓(xùn)練，訓(xùn)練的過(guò)程就是網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)的過(guò)程，訓(xùn)練改變了網(wǎng)絡(luò)節(jié)點(diǎn)的連接權(quán)的值使其具有分類功能，經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)就可以用于對(duì)象的識(shí)別。
步驟：
1、令D={(x,y),i=1,2,...n}是訓(xùn)練樣例集。
2、用隨機(jī)值初始化權(quán)值向量w
3、對(duì)每個(gè)訓(xùn)練樣例（x，y）計(jì)算預(yù)測(cè)輸出y
4、對(duì)每個(gè)權(quán)值w更新權(quán)值wj = wj+r（yi-yik）xij
5、重復(fù)步驟3，4直至滿足終止條件
邏輯斯蒂
判別分析原理
支持向量機(jī)
SVM：構(gòu)建了一個(gè)分割兩類的超平面，在構(gòu)建過(guò)程中，SVM算法試圖使兩類之間的分割達(dá)到最大化。
