一、什么叫梯度
說到梯度下降算法先說一下什么叫梯度，百度百科解釋：
在向量微積分中，標(biāo)量場的梯度是一個(gè)向量場。標(biāo)量場中某一點(diǎn)上的梯度指向標(biāo)量場增長最快的方向，梯度的長度是這個(gè)最大的變化率。更嚴(yán)格的說，從歐幾里得空間Rn到R的函數(shù)的梯度是在Rn某一點(diǎn)最佳的線性近似。在這個(gè)意義上，梯度是雅可比矩陣的一個(gè)特殊情況。
在單變量的實(shí)值函數(shù)的情況，梯度只是導(dǎo)數(shù)，或者，對(duì)于一個(gè)線性函數(shù)，也就是線的斜率。
梯度一詞有時(shí)用于斜度，也就是一個(gè)曲面沿著給定方向的傾斜程度。可以通過取向量梯度和所研究的方向的點(diǎn)積來得到斜度。梯度的數(shù)值有時(shí)也被稱為梯度
二、梯度下降算法
梯度下降是一種以通過在目標(biāo)函數(shù)梯度
的反向上更新模型參數(shù)，來最小化模型參數(shù)的目標(biāo)函數(shù)的方法。學(xué)習(xí)速率 決定了我們前往（局部）極小值的步長。換言之，我們沿著目標(biāo)函數(shù)所構(gòu)造曲面的斜面按向下的方向走動(dòng)，直到我們到達(dá)山谷。如果你對(duì)梯度下降不熟悉，你可以點(diǎn)擊此處點(diǎn)擊打開鏈接去了解一篇關(guān)于優(yōu)化神經(jīng)網(wǎng)絡(luò)的介紹。
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。
