有人問SVM可以退化成Logistic么，我覺得說退化不如說可以轉(zhuǎn)換成Logistic形式么，或者說，也可以出輸出一個(gè)概率值來估計(jì)其分類更傾向哪一類別。

基礎(chǔ)知識(shí)：

1.1 sigmoid函數(shù)

sigmoid函數(shù)是一個(gè)良好的閾值函數(shù)，連續(xù)，光滑，嚴(yán)格單調(diào)。

可以將實(shí)軸上的數(shù)值投射到[0,1]上，即將一個(gè)輸出實(shí)值抓化為一個(gè)概率值。比如一個(gè)分類器的分界線為0，大于0標(biāo)為+1，小于0標(biāo)為-1；如果使用上圖的sigmoid函數(shù)套一下輸出值。我們就可以說，輸出為0時(shí)標(biāo)為+1的概率為0.5；輸出為2時(shí)標(biāo)為+1的概率為0.8等。

這里定義SVM的輸出（非閾值化的）：

SVM非閾值化的輸出

其中

對(duì)偶形式后的一問分

用后驗(yàn)概率 P(y=1|f) 替代類別條件密度 p(f|y)，采用Sigmoid的參數(shù)化形式表達(dá)。

模型有兩個(gè)參數(shù)A和B，采用最大似然估計(jì)訓(xùn)練，定義新的訓(xùn)練集合，其中ti為目標(biāo)概率：

新的訓(xùn)練集合

重新定義標(biāo)簽，即SVM二分類為（-1，+1），轉(zhuǎn)換為（0，+1）

最小化訓(xùn)練數(shù)據(jù)的Negative Log Likelihood，目標(biāo)函數(shù)為cross-entropy error function：

對(duì)似然函數(shù)取對(duì)數(shù)，并加負(fù)號(hào)取最小值，即對(duì)數(shù)損失函數(shù)

其中

http://blog.csdn.net/iichangle/article/details/46817999 ? （贊）

http://blog.csdn.net/giskun/article/details/49329095 ? （贊）