深度學(xué)習(xí)擴(kuò)展_梯度下降

f^{ \prime}(x)：當(dāng)x發(fā)生微小變化的時候，f(x)的變化有多大?？捎檬阶颖硎?img class="math-inline" src="https://math.jianshu.com/math?formula=f(x%2B%20%5Cvarepsilon%20)%20%5Capprox%20f(x)%2B%5Cvarepsilon%20f%5E%7B%20%5Cprime%7D(x)" alt="f(x+ \varepsilon ) \approx f(x)+\varepsilon f^{ \prime}(x)" mathimg="1">

f(x- \varepsilon \ \mathrm{sign}( f^{ \prime}(x)) )<f(x)


\nabla f(\mathbf{x})是梯度，指向最陡上升方向。

\nabla_{\mathbf{v}} f(\mathbf{x})是方向?qū)?shù)，并不指向最陡上升方向。


\mathbf{v} =\begin{bmatrix} 2 \\[0.3em] 3 \\[0.3em] -1 \\[0.3em] \end{bmatrix}，\nabla_{\mathbf{v}} f(x,y,z) = 2\frac{\partial f}{\partial x}+3\frac{\partial f}{\partial y}+(-1)\frac{\partial f}{\partial z}沿著 \mathbf{v}方向的微小推動可以被分解成x方向上的2個微小推動，y方向上的3個微小推動，以及在z方向上向后微小的微移-1


在 \mathbf{v}（單位向量）方向的方向?qū)?shù)是函數(shù)f在 \mathbf{v}方向上的斜率\nabla_{\mathbf{v}} f(\mathbf{x})=\left.\frac{\mathrmu0z1t8os f_{\mathbf{v}}}{\mathrmu0z1t8os α}\right|_{α=0}=\lim _{α \rightarrow 0} \frac{f(\mathbf{x}+α \mathbf{v})-f(\mathbf{x})}{α}=\mathbf{v} \cdot \nabla f(\mathbf{x})，其中\mathbf{v}^T\mathbf{v}=1

當(dāng)\mathbf{v} 和\nabla f(\mathbf{x})方向相反的時候，\min \nabla_{\mathbf{v}} f(\mathbf{x})成立。

同理當(dāng)方向相同的時候\max \nabla_{\mathbf{v}} f(\mathbf{x})成立。

PS：衡量2個標(biāo)準(zhǔn)化向量是否接近，就是讓其做內(nèi)積，內(nèi)積越大就表示越接近。（如果沒有標(biāo)準(zhǔn)化，不改變方向，只改變向量的長度，也能增加內(nèi)積的值）

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 本文內(nèi)容：1.什么是梯度下降方法？2.反向傳播算法（BP算法） 1.為什么要梯度優(yōu)化 上一節(jié)介紹過，我們的第一個神...
    MachinePlay閱讀 6,230評論 0贊 5
  • 前言 ??一年前就自學(xué)過，并且參加過機(jī)器學(xué)習(xí)的培訓(xùn)課。由于現(xiàn)在開始專注學(xué)習(xí)計算機(jī)視覺算法，所以需要復(fù)習(xí)下數(shù)學(xué)基礎(chǔ)。...
    applecai閱讀 932評論 0贊 1
  • 今天帶草原去上環(huán)球課，這次的主題是北非，所以有一個環(huán)節(jié)是學(xué)土著人打鼓、叫喊。草原特別喜歡這個環(huán)節(jié)，從頭到尾一直跟著...
    facefacetl閱讀 1,338評論 0贊 1
  • 寫作我還是沒有耐心對待，只好放棄了。 不過我還會繼續(xù)寫下去，因為這段時間寫作慢慢溶入我的愛好，居然愛好，不要放棄自...
    好姐在手繪閱讀 212評論 0贊 0
  • 十二經(jīng)脈是經(jīng)絡(luò)系統(tǒng)的主體，具有表里經(jīng)脈相合，與相應(yīng)臟腑絡(luò)屬的主要特征。包括手三陰經(jīng)（手太陰肺經(jīng)、手厥陰心包經(jīng)、手少...
    4李姍姍閱讀 368評論 2贊 1

友情鏈接更多精彩內(nèi)容