前情回顧
機(jī)器學(xué)習(xí)100天|Day1數(shù)據(jù)預(yù)處理
100天搞定機(jī)器學(xué)習(xí)|Day2簡單線性回歸分析
100天搞定機(jī)器學(xué)習(xí)|Day3多元線性回歸
100天搞定機(jī)器學(xué)習(xí)|Day4-6 邏輯回歸
100天搞定機(jī)器學(xué)習(xí)|Day7 K-NN
100天搞定機(jī)器學(xué)習(xí)|Day8 邏輯回歸的數(shù)學(xué)原理
100天搞定機(jī)器學(xué)習(xí)|Day9-12 支持向量機(jī)
100天搞定機(jī)器學(xué)習(xí)|Day11 實(shí)現(xiàn)KNN
100天搞定機(jī)器學(xué)習(xí)|Day13-14 SVM的實(shí)現(xiàn)
100天搞定機(jī)器學(xué)習(xí)|Day15 樸素貝葉斯
Day17，Avik-Jain開始在Coursera深度學(xué)習(xí)的專業(yè)課程，完成第1周和第2周內(nèi)容以及學(xué)習(xí)課程中的邏輯回歸、神經(jīng)網(wǎng)絡(luò)，并用Python實(shí)現(xiàn)一個(gè)神經(jīng)網(wǎng)絡(luò)。
Day4-6我們已經(jīng)學(xué)習(xí)過邏輯回歸模型。
100天搞定機(jī)器學(xué)習(xí)|Day4-6 邏輯回歸
但是當(dāng)時(shí)并沒有擴(kuò)展性的深入探討，畢竟這個(gè)模型十分簡單易懂。其實(shí)模型之間是有關(guān)聯(lián)的，比如Logistic Regression引出SVM回歸模型。
首先，我們再回歸一下Logistic Regression
邏輯回歸進(jìn)行分類的主要思想是：根據(jù)現(xiàn)有數(shù)據(jù)對分類邊界線建立回歸公式，以此進(jìn)行分類。我們想要的函數(shù)應(yīng)該是，能接受所有的輸入然后預(yù)測出類別。例如，對于而分類問題，該函數(shù)應(yīng)該返回0或1。
邏輯回歸假設(shè)函數(shù)如下
它對θTX作了一個(gè)函數(shù)g變換，映射至0到1的范圍之內(nèi)，而函數(shù)g稱為sigmoid function或者logistic function，函數(shù)圖像如下圖所示。
邏輯回歸是用來得到樣本屬于某個(gè)分類的概率，當(dāng)輸入z等于0時(shí)，Sigmoid函數(shù)值為0.5。隨著z的增大，對應(yīng)的函數(shù)值趨近于1；隨著z的減小，對應(yīng)的函數(shù)值趨近于0。
然后，我們通過邏輯回歸引出SVM
我們發(fā)現(xiàn)hθ(x)只與θTX有關(guān)，θTX＞0，則hθ(x)＞0.5.g(z)只不過是用來映射，真實(shí)的類別決定權(quán)還在θTX。模型達(dá)到的目標(biāo)無非就是讓訓(xùn)練數(shù)據(jù)中y=1的特征θTX>>0，而是y=0的特征θTX<<0。Logistic回歸就是要學(xué)習(xí)得到θ，使得正例的特征遠(yuǎn)大于0，負(fù)例的特征遠(yuǎn)小于0，強(qiáng)調(diào)在全部訓(xùn)練實(shí)例上達(dá)到這個(gè)目標(biāo)。
上圖中間那條線是θTX=0，logistic回顧強(qiáng)調(diào)所有點(diǎn)盡可能地遠(yuǎn)離中間那條線，學(xué)習(xí)出的結(jié)果也就中間那條線。這樣我們可以得出結(jié)論，我們更應(yīng)該關(guān)心靠近中間分割線的點(diǎn)，讓他們盡可能地遠(yuǎn)離中間線，而不是在所有點(diǎn)上達(dá)到最優(yōu)。
然后，看看邏輯回歸的代價(jià)函數(shù)
當(dāng)y=1時(shí)，并將z=θTx帶入其中， 損失函數(shù)圖像進(jìn)行少量修改就能得到SVM損失函數(shù)圖像，取z=1的點(diǎn)作為分界點(diǎn)畫一條和邏輯回歸很接近的線性圖像得到上圖中玫紅色的直線，稱其為Cost1(z)。 y=0，類似地得到Cost0(z)。
因?yàn)槿藗冊谑褂眠壿嫽貧w和支持向量機(jī)時(shí)遵循的規(guī)則不同，有些地方還需要修改 ，在上述式子中的損失部分和正則化部分都去掉 1/m 項(xiàng)
在邏輯回歸中使用λ來平衡樣本的損失函數(shù)項(xiàng)和正則化項(xiàng)，而在SVM中，使用C來平衡.
最終的SVM的表達(dá)式：
在這里，當(dāng)最小化代價(jià)函數(shù)，獲得參數(shù) θ 時(shí)，支持向量機(jī)所做的是它來直接預(yù)測 y 的值等于 1，還是等于 0。所以學(xué)習(xí)參數(shù) θ 就是支持向量機(jī)假設(shè)函數(shù)的形式。
另：詳細(xì)過程建議大家觀看吳恩達(dá)課程原版機(jī)器學(xué)習(xí)公開課
https://www.coursera.org/course/ml
--------------回歸正題分割線--------------
神經(jīng)網(wǎng)絡(luò)又與邏輯回歸什么關(guān)系呢？先說結(jié)論：
邏輯回歸是沒有隱藏層的神經(jīng)網(wǎng)絡(luò)
邏輯回歸引出神經(jīng)網(wǎng)絡(luò)的過程，我認(rèn)為李宏毅的機(jī)器學(xué)習(xí)課程最為巧妙。
首先Logistic回歸是有局限性的，對于線性不可分的數(shù)據(jù)沒有辦法分類。
比如上面這種情況，就沒有辦法使用一條直線進(jìn)行分類。
一個(gè)解決方法是可以通過轉(zhuǎn)換特征空間方法解決異或問題，線性不可分的數(shù)據(jù)在特征轉(zhuǎn)化后可以很好地被紅色直線區(qū)分開。 但是不能總是通過依賴手工的方法來找到一個(gè)好的轉(zhuǎn)換，這就違背了機(jī)器學(xué)習(xí)的本質(zhì)。
so，Logistic回歸可以看做是兩層神經(jīng)元，激活函數(shù)是Sigmoid函數(shù)的神經(jīng)網(wǎng)絡(luò)。左邊兩個(gè)Sigmoid函數(shù)作用是特征轉(zhuǎn)換，右邊作用是分類。
Logistic回歸連接在一起就是深度學(xué)習(xí)的基本結(jié)構(gòu)。
