邏輯回歸(logistic regression)

1、


Paste_Image.png

2、邏輯回歸我們要求h(theta)的值在0和1之間,g(z)是s型函數(shù)或者叫邏輯函數(shù),令z = theta'x使得h(theta)在0和1之間

Paste_Image.png

3、注意下圖紅框中的等式

Paste_Image.png
Paste_Image.png

4、z >= 0時(shí),h(x)的值為1,否則為0

Paste_Image.png

決策邊界是z =0


Paste_Image.png

非線性決策邊界,只需要聽課里面如何確定各個(gè)theta參數(shù)了(通過找最優(yōu)目標(biāo)或者代價(jià)函數(shù)來擬合theta參數(shù))


Paste_Image.png

5、利用求線性回歸模型的代價(jià)函數(shù)來擬合邏輯回歸模型的theta參數(shù)將會(huì)得到非凸函數(shù) J(theta),無法求得全局最優(yōu)值?
Paste_Image.png

6、邏輯回歸函數(shù)的代價(jià)函數(shù)如下

Paste_Image.png
Paste_Image.png

Paste_Image.png
Paste_Image.png

6、如何判斷alpha值設(shè)置的正確性以及如何確定梯度下降是正確運(yùn)行的

Paste_Image.png

7、優(yōu)化算法不止梯度下降

Paste_Image.png

8、多分類問題,預(yù)測(cè)一個(gè)new x所對(duì)應(yīng)的類別時(shí),選擇由多個(gè)分類器得到的多個(gè)概率中最大的那個(gè)。

Paste_Image.png

9、octave中運(yùn)行的高級(jí)算法?沒弄明白最后一道題既然用的是梯度下降為什么題目上說的是advanced optimaztion ??? !!!

Paste_Image.png

10、 這篇文章對(duì)正則的講解 http://www.cnblogs.com/jianxinzhou/p/4083921.html
11、提交前的答題記錄

Paste_Image.png

此題應(yīng)該是選擇第二個(gè),對(duì)于第一項(xiàng),引進(jìn)正則化是為了minimize your error while regularizing your parameters”,也就是在規(guī)則化參數(shù)的同時(shí)最小化誤差,即減小誤差的同時(shí)能夠讓模型對(duì)于測(cè)試數(shù)據(jù)能有很好的性能。其中‘減小誤差’,相當(dāng)于對(duì)訓(xùn)練數(shù)據(jù)也有很好的性能。

Paste_Image.png

正確?。?!


Paste_Image.png

在正則化線性回歸中,如果正則化參數(shù)值 λ 被設(shè)定為非常大,我們將會(huì)非常大地懲罰參數(shù)θ1 θ2 θ3 θ4 … 也就是說,我們最終懲罰θ1 θ2 θ3 θ4 … 在一個(gè)非常大的程度,那么我們會(huì)使所有這些參數(shù)接近于零。如果我們這么做,那么就是我們的假設(shè)中相當(dāng)于去掉了這些項(xiàng),并且使我們只是留下了一個(gè)簡(jiǎn)單的假設(shè),這個(gè)假設(shè)只能表明房屋價(jià)格等于 θ0
的值,那就是類似于擬合了一條水平直線,對(duì)于數(shù)據(jù)來說這就是一個(gè)欠擬合 (underfitting)。這種情況下這一假設(shè)它是條失敗的直線,對(duì)于訓(xùn)練集來說這只是一條平滑直線,它沒有任何趨勢(shì),它不會(huì)去趨向大部分訓(xùn)練樣本的任何值。
另外,此題的最后一個(gè)選項(xiàng),不是正則化而是多項(xiàng)式使得J(θ)不在是凸函數(shù),正則化是使得凹函數(shù)稍微平滑的方法。
故此題選擇第二項(xiàng)。
看第二遍視頻的補(bǔ)充:

Paste_Image.png
Paste_Image.png
Paste_Image.png
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 邏輯回歸的定義 簡(jiǎn)單來說, 邏輯回歸(Logistic Regression)是一種用于解決二分類(0 or 1)...
    李亞鑫閱讀 12,041評(píng)論 3 20
  • 機(jī)器學(xué)習(xí)算法與Python實(shí)踐這個(gè)系列主要是參考《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》這本書。因?yàn)樽约合雽W(xué)習(xí)Python,然后也想對(duì)一些...
    MapleLeaff閱讀 3,333評(píng)論 0 5
  • 轉(zhuǎn)載-劉建平Pinard-www.cnblogs.com/pinard/p/5970503.html 在求解機(jī)器學(xué)...
    商三郎閱讀 3,619評(píng)論 0 2
  • AI人工智能時(shí)代,機(jī)器學(xué)習(xí),深度學(xué)習(xí)作為其核心,本文主要介紹機(jī)器學(xué)習(xí)的基礎(chǔ)算法,以詳細(xì)線介紹 線性回歸算法 及其 ...
    erixhao閱讀 14,210評(píng)論 0 36
  • 【讀文摘句】<016> 哲學(xué)與其說是關(guān)于邏輯的學(xué)說還不如說是關(guān)于性情的學(xué)說:哲學(xué)家所信仰的并不是證據(jù),而是他們自己...
    文孜良木閱讀 302評(píng)論 0 1

友情鏈接更多精彩內(nèi)容