本文主要整理自下面的幾篇博客：
1、深度神經(jīng)網(wǎng)絡(luò)（DNN）反向傳播算法(BP)：https://www.cnblogs.com/pinard/p/6422831.html
2、機器學習中的矩陣、向量求導。https://download.csdn.net/download/weixin_42074867/10405246
1、推導BPNN前需要了解的矩陣求導知識
1.1 矩陣／向量值函數(shù)對實數(shù)的導數(shù)
1.2 實值函數(shù)對矩陣／向量的導數(shù)
1.3 向量值函數(shù)對向量的求導(雅可比矩陣)
1.4 變量多次出現(xiàn)的求導法則
規(guī)則：若在函數(shù)表達式中，某個變量出現(xiàn)了多次，可以單獨計算函數(shù)對自變量的每一次出現(xiàn)的導數(shù)，再把結(jié)果加起來。
1.5 向量求導的鏈式法則
1.6 一一對應(yīng)關(guān)系下的矩陣求導
1.7 幾個重要的結(jié)論
掌握了上面的一些基本知識之后，我們就可以順利推導出神經(jīng)網(wǎng)絡(luò)的反向傳播算法。
2、反向傳播的推導
具體的推導過程可以參考文章開頭給出的博客，下圖是我手動推導的過程：
