Multivariate Linear Regression

1、多特征變量及其相關(guān)概念


Paste_Image.png

2、多變量線性回歸，其中表達(dá)式可轉(zhuǎn)化為向量相乘，注意令x0 = 1

Paste_Image.png

3、


Paste_Image.png

4、單變量線性回歸中梯度下降法中的求導(dǎo)
（求導(dǎo)過(guò)程中把theta 0 、theta 1當(dāng)作相應(yīng)變量）


Paste_Image.png

單變量線性回歸和多變量線性回歸的梯度下降發(fā)參數(shù)更新對(duì)比
Paste_Image.png

5、特征值之間的scale相差較大時(shí)，J(theta)容易出現(xiàn)細(xì)高的橢圓形形狀，不利于收斂
Paste_Image.png

6、對(duì)各個(gè)特征值進(jìn)行標(biāo)準(zhǔn)化，每個(gè)特征值減去相應(yīng)項(xiàng)的平均值再除以max - min


Paste_Image.png

7、為什么是


Paste_Image.png

而不是
Paste_Image.png

Paste_Image.png

明白了！
縱坐標(biāo)其實(shí)應(yīng)該是


Paste_Image.png
但是如果梯度下降正確運(yùn)行，按道理來(lái)說(shuō)每次迭代 J(theta)都會(huì)下降，也就是最后一次迭代后得到的J值是現(xiàn)在為止得到的 J 值中最小的。如下兩張圖中字幕所說(shuō)：
Paste_Image.png
Paste_Image.png

8、迭代次數(shù)在四百處曲線梯度趨于平緩，梯度下降收斂

Paste_Image.png

9、梯度下降算法沒(méi)有正確運(yùn)行的話，the plot 如下左邊兩張：

Paste_Image.png

解決方法如下：

Paste_Image.png

即調(diào)試得到一個(gè)值較小的a值
A中的斜率較B中的J值變化率要大


Paste_Image.png

10、X1 、X2...是特征值

Paste_Image.png

11、octave 語(yǔ)法：最下面的紅字部分是相等的


Paste_Image.png

12、紅框中是normal equation(正規(guī)方程方法)，使用正規(guī)方程時(shí)是沒(méi)必要對(duì)特征值進(jìn)行歸一化的


Paste_Image.png

13、梯度下降法和正規(guī)方程優(yōu)缺點(diǎn)對(duì)比
Paste_Image.png
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容