今天開始學(xué)習(xí)機(jī)器學(xué)習(xí)，僅供參考的個人理解，如有錯誤望指正。
吳恩達(dá)老師講的視頻（果然b站是個學(xué)習(xí)的網(wǎng)站）https://www.bilibili.com/video/av15346993?from=search&seid=4468047430738351672
如給定f(x)=wx+b，有多組數(shù)據(jù)（xi,yi)，求目標(biāo)函數(shù)F(x) 即是求w和b的最符合函數(shù)的值
可以通過計(jì)算每個(yi-f(xi))^2,進(jìn)行累加(符號不會打= =），得到一個關(guān)于w，b的函數(shù)J(w,b)
J(w,b)即為代價函數(shù)，通過尋找J(w,b)的最小值，使得代價函數(shù)最小。
該函數(shù)是一個凸函數(shù)，目標(biāo)是通過梯度下降，到達(dá)底部。
給定w，b初始值，通過梯度下降，每次都找到最陡峭的方向移動指定的步數(shù)，直至達(dá)到底部（獲得最優(yōu)解）。
首先給定一維圖像J(w)目標(biāo)是找到一個最優(yōu)值w，使得J(w)處于最低處
首先如果對J(w)求導(dǎo)得出J'(w)，函數(shù)在某一點(diǎn)的導(dǎo)數(shù)就是該函數(shù)所代表的曲線在這一點(diǎn)上的切線（圖中橙色的線）的斜率，如果J(w)延正方向值增加，那么導(dǎo)數(shù)在該點(diǎn)的值為正（斜率為正值），反正亦然。
設(shè)wa為初值，wb為第二個值,在假設(shè)一個步數(shù)n用來權(quán)衡移動的速度那么移動的函數(shù)為wb=wa-nJ'(w)。
參考w0處，J'(w)是一個正值，wb=wa-nJ'(w) ，可知wb是小于wa的，那么w的值就向左移動。當(dāng)然因?yàn)椴綌?shù)的不同，步數(shù)大了，下降的快，但接近底部時又可能直接越過該值，到達(dá)另一邊通過多次迭代，最終就得到一個接近最優(yōu)解的值。
那么在多維的函數(shù)中，也可以用類似的方法找到函數(shù)的“底部”，首先要知道什么是偏導(dǎo)數(shù)（高數(shù)勸退ing）
直接截圖，符號不會寫.... 那個類似反著的6的符號就是偏導(dǎo)b也可以同理進(jìn)行迭代替換
最后就可以找到三維的函數(shù)底部。
