線性回歸是回歸模型,邏輯回歸和SVM是分類模型。
線性回歸和邏輯回歸(廣義線性模型)是線性模型,SVM根據(jù)核函數(shù)的不同有線性模型和非線性模型。
邏輯回歸和SVM都是判別式模型。
三者都屬于有監(jiān)督算法。
三個(gè)模型的分界面都是線性的,非線性SVM可以理解為通過(guò)核函數(shù)將非線性特征映射為線性特征,然后再求線性分界面(只是方便理解,實(shí)際上并不是線性)。實(shí)際運(yùn)算時(shí)直接在低維空間中直接計(jì)算,而不是先映射到高維空間再進(jìn)行內(nèi)積運(yùn)算。
由于支持向量機(jī)只關(guān)心分界面上的點(diǎn),所以不受數(shù)據(jù)分布的影響,但卻容易受到異常值的影響。如果異常值出現(xiàn)在分界面內(nèi)部則不會(huì)影響分類結(jié)果,如果出現(xiàn)在兩條正常分界面之間,則會(huì)直接影響分解面的位置。
邏輯回歸假設(shè)數(shù)據(jù)服從伯努利分布,受數(shù)據(jù)分布影響,要處理數(shù)據(jù)集不均衡的情況,不容易受異常值影響。
https://www.zhihu.com/question/26768865
線性和非線性:
?@2e8e2fd95f48?1、關(guān)于 “線性模型和核有什么關(guān)系。。 做了非線性變換就是非線性分類器了?”?
線性模型的定義:“類似多項(xiàng)式函數(shù)的這種關(guān)于未知參數(shù)滿?線性關(guān)系的函數(shù)有著重要的性質(zhì),被叫做線性模型”,這是《機(jī)器學(xué)習(xí)與模式識(shí)別》中的定義。SVM換了非線性核,自然就不是線性模型,把核分解代入原式就能看出。
2、“那么邏輯回歸豈不也是非線性分類器?”。
邏輯回歸嚴(yán)格來(lái)說(shuō)屬于廣義線性模型,是非線性模型。wiki對(duì)一般線性模型和廣義線性模型的區(qū)分:"有些人可能會(huì)把一般線性模式和廣義線性模式給弄混了。一般線性模式可視為廣義線性模式的一個(gè)鏈接函數(shù)為恒等的特例。一般線性模式有著悠長(zhǎng)的發(fā)展歷史。廣義線性模式具非恒等鏈接函數(shù)者有著漸近一致的結(jié)果。"
綜上,SVM可以通過(guò)構(gòu)造非線性核,成為廣義線性模型,但不會(huì)是一般線性模型。
邏輯回歸是廣義線性模型,不是一般線性模型。
是我說(shuō)的不嚴(yán)謹(jǐn)