提出背景
- 房屋房價(jià)預(yù)測
| 面積 | 房間數(shù) | 樓層數(shù) | 價(jià)格 |
|---|---|---|---|
| 2104 | 5 | 1 | 460 |
| 1416 | 3 | 2 | 232 |
| 1534 | 3 | 2 | 315 |
- 術(shù)語轉(zhuǎn)換
矩陣表示
- 將上房屋特征 和房價(jià) 矩陣化
- 將上式 轉(zhuǎn)換為矩陣乘
為什么要這么轉(zhuǎn)換呢，因?yàn)橛?jì)算機(jī)很擅長于做矩陣運(yùn)算
- 給上式加一個(gè)截距 變成
這種形式，
為截距
上式的截距為
令
截距為
我們將上式，表示形為
我們的目標(biāo)是 求出
讓他更好的去擬合給出的數(shù)據(jù)
我們是使用損失函數(shù)來判斷 擬合的好壞 ,注意
- 損失函數(shù) 定義為
這是一個(gè) 只與
一般情況，上標(biāo)表示輸入的行數(shù)，下標(biāo)表示 列的特征值
其中：
梯度下降法
- 思路 描述
函數(shù)上 任選一個(gè)起始點(diǎn)，在這點(diǎn)上 選擇一個(gè) 下降速度最快的方向（梯度），移動(dòng)一小步（學(xué)習(xí)率），求得新的函數(shù)值。與上一點(diǎn)函數(shù)值比較，如果小于上點(diǎn)函數(shù)值，重復(fù)原來的操作。繼續(xù)下降，直至最小值。
- 概念引出
梯度 和 學(xué)習(xí)率
- 損失函數(shù)的偏導(dǎo) (n+1)個(gè)
多項(xiàng)式回歸
- 欠擬合
上面 是使用線性模型 訓(xùn)練數(shù)據(jù)的 非線性 函數(shù)，為了防止一次方程的欠擬合現(xiàn)象，我們可以增加模型的復(fù)雜度，創(chuàng)造一個(gè)多次方程進(jìn)行擬合。
- 舉例
轉(zhuǎn)化為：
問題就轉(zhuǎn)化成了
這種思路還可以解決異或問題(挺不錯(cuò))
- 正則化
解決過擬合現(xiàn)象，將參數(shù)也加入到損失函數(shù)中，聯(lián)合進(jìn)行評估。
- 領(lǐng)回歸
嶺回歸通過對系數(shù)施加懲罰來解決最小二乘法的缺點(diǎn)
