reference：

Wiki資料

卷積神經(jīng)網(wǎng)絡(luò)在圖像分類中的應(yīng)用研究 (這個里面反向傳播算法介紹的特別好，推薦看)

參考資料總結(jié)：

目前階段我們不需要知道具體是怎么算得，大體了解推理過程就可以了。然后知道學(xué)習(xí)速率在哪里，和損失函數(shù)在反向傳播算法里面起了什么作用就好了。

但是要記住以下結(jié)論

1、隱層閥值梯度值取決于隱層神經(jīng)元輸出、輸出層閥值梯度和隱層與輸出層的連接權(quán)值
2、在閥值調(diào)成過程中，當前層的閥值梯度取決于下一層的閥值梯度（BP精髓）
3、當前層的連接權(quán)值梯度，取決于當前神經(jīng)元閥值梯度和上層神經(jīng)元輸出
4、學(xué)習(xí)速率就是調(diào)整權(quán)值時，梯度前面的系數(shù)。
5、損失函數(shù)就是計算前向傳播的結(jié)果和預(yù)期值的誤差。

整體的算法流程，大概就是

首先，前傳（即訓(xùn)練輸入送入網(wǎng)絡(luò)得到響應(yīng)），得到此次結(jié)果和預(yù)期的誤差，然后反傳，通過得到的誤差計算梯度，然后根據(jù)梯度來調(diào)整權(quán)值。

通俗理解

由于我們有時候不需要知道細節(jié)，所以大體知道流程就可以了，這里大概就是以一個故事的形式通俗的講一講整體的流程。

有一天，我們要下山，但是霧太大，看不見路，所以我們只能以能見很小的范圍內(nèi)確認自己是不是在下山，然后理論上一直在向下走就是在下山，BP大概的理解就是這樣子的。以梯度來看自己是不是在“下山”。這樣子就會更好的理解以下要說的BP的缺點。

缺點

1、局部極小值

這么理解，就是你在下山的時候，有一個小坑，然后由于你看不到坑的全貌，但是所以你一直走下坡永遠都出不了這個小坑。這種情況在學(xué)習(xí)速率特別小的時候就容易進去。

2、算法訓(xùn)練非常慢

這個光想就知道啦，你下山不走路線，能依賴的東西太少，尋路就會非常復(fù)雜，當然慢咯。

創(chuàng)建時間：不詳

修改時間：2017/6/10