對(duì)比線性回歸、邏輯回歸和SVM

線性回歸是回歸模型,邏輯回歸和SVM是分類模型。

線性回歸和邏輯回歸(廣義線性模型)是線性模型,SVM根據(jù)核函數(shù)的不同有線性模型和非線性模型。

邏輯回歸和SVM都是判別式模型。

三者都屬于有監(jiān)督算法。

三個(gè)模型的分界面都是線性的,非線性SVM可以理解為通過(guò)核函數(shù)將非線性特征映射為線性特征,然后再求線性分界面(只是方便理解,實(shí)際上并不是線性)。實(shí)際運(yùn)算時(shí)直接在低維空間中直接計(jì)算,而不是先映射到高維空間再進(jìn)行內(nèi)積運(yùn)算。

由于支持向量機(jī)只關(guān)心分界面上的點(diǎn),所以不受數(shù)據(jù)分布的影響,但卻容易受到異常值的影響。如果異常值出現(xiàn)在分界面內(nèi)部則不會(huì)影響分類結(jié)果,如果出現(xiàn)在兩條正常分界面之間,則會(huì)直接影響分解面的位置。

邏輯回歸假設(shè)數(shù)據(jù)服從伯努利分布,受數(shù)據(jù)分布影響,要處理數(shù)據(jù)集不均衡的情況,不容易受異常值影響。

https://www.zhihu.com/question/26768865

豆豆豆豆豆豆豆葉 ??的回答


線性和非線性:
?@2e8e2fd95f48?1、關(guān)于 “線性模型和核有什么關(guān)系。。 做了非線性變換就是非線性分類器了?”?

線性模型的定義:“類似多項(xiàng)式函數(shù)的這種關(guān)于未知參數(shù)滿?線性關(guān)系的函數(shù)有著重要的性質(zhì),被叫做線性模型”,這是《機(jī)器學(xué)習(xí)與模式識(shí)別》中的定義。SVM換了非線性核,自然就不是線性模型,把核分解代入原式就能看出。

2、“那么邏輯回歸豈不也是非線性分類器?”。

邏輯回歸嚴(yán)格來(lái)說(shuō)屬于廣義線性模型,是非線性模型。wiki對(duì)一般線性模型和廣義線性模型的區(qū)分:"有些人可能會(huì)把一般線性模式和廣義線性模式給弄混了。一般線性模式可視為廣義線性模式的一個(gè)鏈接函數(shù)為恒等的特例。一般線性模式有著悠長(zhǎng)的發(fā)展歷史。廣義線性模式具非恒等鏈接函數(shù)者有著漸近一致的結(jié)果。"

綜上,SVM可以通過(guò)構(gòu)造非線性核,成為廣義線性模型,但不會(huì)是一般線性模型。

邏輯回歸是廣義線性模型,不是一般線性模型。

是我說(shuō)的不嚴(yán)謹(jǐn)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容