問題定義
給定數(shù)據(jù)集%2C(%5Cboldsymbol%7Bx%7D_2%2C%20y_2)%2C%5Ccdots%2C(%5Cboldsymbol%7Bx%7D_m%2C%20y_m)%20%5C%7D)
，)
是一個(gè)向量，
是一個(gè)標(biāo)量。數(shù)據(jù)集中的每個(gè)數(shù)據(jù)對(duì))
可以看做空間中的一個(gè)點(diǎn)，那么線性回歸問題就是試圖學(xué)得一個(gè)超平面，使得數(shù)據(jù)集中的點(diǎn)盡量落在或者靠近這個(gè)超平面。%20%3D%20%5Cboldsymbol%7Bwx%7D_i%2Bb%2C%20%5Cquad%20s.t.%20%5Cquad%20f(%5Cboldsymbol%7Bx%7D_i)%5Csimeq%20y_i)
衡量)
與
之前的差別，可以采用均方誤差這種性能度量。數(shù)據(jù)集D中的每個(gè)樣本的誤差為%20-%20y_i%20)%5E2)
，均方誤差就是所有樣本的誤差的加和平均，即%20%3D%20%5Cfrac%7B1%7D%7Bm%7D%20%5Csum_%7Bi%3D1%7D%5Em%5Climits(f(%5Cboldsymbol%7Bx%7D_i)%20-%20y_i%20)%5E2)
問題求解
在該問題中，我們要求解的變量是
和
，使得和取得最優(yōu)值的時(shí)候，誤差)
取得最小值。即如下優(yōu)化問題：
%3D%5Cmathop%7B%5Carg%5Cmin%7D_%7B(%5Cboldsymbol%7Bw%7D%2Cb)%7D%5Csum_%7Bi%3D1%7D%5Em(f(x_i)%20-%20y_i)%5E2%20%5C%5C%20%3D%5Cmathop%7B%5Carg%5Cmin%7D_%7B(%5Cboldsymbol%7Bw%7D%2Cb)%7D%5Csum_%7Bi%3D1%7D%5Em(y_i%20-%20wx_i-b)%5E2%20%5Cend%7Baligned%7D)
求最大最小值的問題，可以對(duì)
和求關(guān)于損失函數(shù)
的偏導(dǎo)數(shù)，然后令導(dǎo)數(shù)為0，得到一組等式，聯(lián)立求解方程即可。
%7D%7D%7B%5Cpartial%20w%7D%26%3D2%5Cbiggl(w%5Csum_%7Bi%3D1%7D%5Emx_i%5E2%20-%20%5Csum_%7Bi%3D1%7D%5Em(y_i-b)x_i%5Cbiggr)%3D0%2C%20%5C%5C%20%5Cfrac%7B%5Cpartial%20E_%7B(w%2Cb)%7D%7D%7B%5Cpartial%20w%7D%26%3D2%5Cbiggl(mb%20-%20%5Csum_%7Bi%3D1%7D%5Em(y_i%20-%20wx_i)%5Cbiggr)%3D0%2C%20%5Cend%7Balign%7D)
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。
