SOFTMAX 與 SVM 比較

SVM(支持向量機(jī)):

考量接近邊界的樣例點(diǎn)

SOFTMAX：

考量所有的樣例點(diǎn)

相對(duì)于Softmax分類器，SVM更加“局部目標(biāo)化（local objective）”，這既可以看做是一個(gè)特性，也可以看做是一個(gè)劣勢(shì)?？紤]一個(gè)評(píng)分是[10, -2, 3]的數(shù)據(jù)，其中第一個(gè)分類是正確的。那么一個(gè)SVM（\Delta =1）會(huì)看到正確分類相較于不正確分類，已經(jīng)得到了比邊界值還要高的分?jǐn)?shù)，它就會(huì)認(rèn)為損失值是0。SVM對(duì)于數(shù)字個(gè)體的細(xì)節(jié)是不關(guān)心的：如果分?jǐn)?shù)是[10, -100, -100]或者[10, 9, 9]，對(duì)于SVM來(lái)說(shuō)沒設(shè)么不同，只要滿足超過(guò)邊界值等于1，那么損失值就等于0。

對(duì)于softmax分類器，情況則不同。對(duì)于[10, 9, 9]來(lái)說(shuō)，計(jì)算出的損失值就遠(yuǎn)遠(yuǎn)高于[10, -100, -100]的。換句話來(lái)說(shuō)，softmax分類器對(duì)于分?jǐn)?shù)是永遠(yuǎn)不會(huì)滿意的：正確分類總能得到更高的可能性，錯(cuò)誤分類總能得到更低的可能性，損失值總是能夠更小。但是，SVM只要邊界值被滿足了就滿意了，不會(huì)超過(guò)限制去細(xì)微地操作具體分?jǐn)?shù)。這可以被看做是SVM的一種特性

SVM 與SOFTMAX 是主要的兩個(gè)分類器

  >>1.  與kNN分類器不同，參數(shù)方法的優(yōu)勢(shì)在于一旦通過(guò)訓(xùn)練學(xué)習(xí)到了參數(shù)，就可以將訓(xùn)練數(shù)據(jù)丟棄了。同時(shí)該方法對(duì)于新的測(cè)試數(shù)據(jù)的預(yù)測(cè)非?？欤?yàn)橹恍枰c權(quán)重W進(jìn)行一個(gè)矩陣乘法運(yùn)算。