本文主要參考B站UP主GRNovmbrain的推導視頻，鏈接如下：
https://www.bilibili.com/video/BV1xk4y1B7RQ/?vd_source=eef9eaf7d8271401f6cbf1b7afa000c0
矩陣求導的本質(zhì)
矩陣
對矩陣
求導，表示為
，本質(zhì)是矩陣中的每個元素對矩陣中的每個元素求導。
求導后中元素的個數(shù)：
- 若為
矩陣，為矩陣，則 中元素個數(shù)為
；
- 若為
矩陣，為
矩陣，則 中元素個數(shù)為
；
- 若為
矩陣，為
矩陣，則 中元素個數(shù)為
。
矩陣求導元素布局方法
矩陣對矩陣求導，得到的結(jié)果為，本質(zhì)上就是矩陣中的每個元素對矩陣中的每個元素求導；那么，不同的元素布局方式，就能得到不同的求導結(jié)果（指不同的結(jié)果矩陣）。元素的布局可以分為：1）分母布局，2）分子布局，兩種布局的關(guān)系為：將分母布局得到的結(jié)果矩陣進行轉(zhuǎn)置，即可得到分子布局的結(jié)果。
本文的例子中采用的是分母布局的形式，也是目前比較主流的機器學習矩陣求導布局形式。有些金融類的教材可能會采用分子布局的形式，兩種布局沒有優(yōu)劣之分，為了計算會推導的方便可以采用任意一種布局。需要注意的是：在同一個項目中需保持布局的一致性。
分母布局口訣
- 標量保持不變，向量需要拉伸；
- 分子橫向拉伸，分母縱向拉伸；
【例1】 )
為標量，![\boldsymbol{x}=[x_1, x_2, ... , x_n]^{T}](https://math.jianshu.com/math?formula=%5Cboldsymbol%7Bx%7D%3D%5Bx_1%2C%20x_2%2C%20...%20%2C%20x_n%5D%5E%7BT%7D)
為列向量，求%7D%7B%5Cpartial%20%5Cboldsymbol%7Bx%7D%7D)
。
此例中，分子為標量，分母
為向量，求導獲得的矩陣共有
個元素。依照布局口訣，分子為標量，保持不變，分母為向量，需將其各元素縱向拉伸。由此，我們可以得到：
![\frac{\partial f(\boldsymbol{x})}{\partial \boldsymbol{x}} = \left[ \begin{matrix} \frac{\partial f(\boldsymbol{x})}{\partial x_{1}}\\ \frac{\partial f(\boldsymbol{x})}{\partial x_{2}} \\ \vdots \\ \frac{\partial f(\boldsymbol{x})}{\partial x_{n}} \end{matrix} \right]](https://math.jianshu.com/math?formula=%5Cfrac%7B%5Cpartial%20f(%5Cboldsymbol%7Bx%7D)%7D%7B%5Cpartial%20%5Cboldsymbol%7Bx%7D%7D%20%3D%20%5Cleft%5B%20%5Cbegin%7Bmatrix%7D%20%5Cfrac%7B%5Cpartial%20f(%5Cboldsymbol%7Bx%7D)%7D%7B%5Cpartial%20x_%7B1%7D%7D%5C%5C%20%5Cfrac%7B%5Cpartial%20f(%5Cboldsymbol%7Bx%7D)%7D%7B%5Cpartial%20x_%7B2%7D%7D%20%5C%5C%20%5Cvdots%20%5C%5C%20%5Cfrac%7B%5Cpartial%20f(%5Cboldsymbol%7Bx%7D)%7D%7B%5Cpartial%20x_%7Bn%7D%7D%20%5Cend%7Bmatrix%7D%20%5Cright%5D)
【例2】 ![f(x)=[f_1(x), f_2(x), ... , f_n(x)]](https://math.jianshu.com/math?formula=f(x)%3D%5Bf_1(x)%2C%20f_2(x)%2C%20...%20%2C%20f_n(x)%5D)
為向量函數(shù)，
為標量，求%7D%7Bdx%7D)
。
此例中，分子為向量，分母為標量，求導獲得的矩陣共有個元素。依照布局口訣，分子為向量，需將其各元素橫向拉伸，分母為標量，保持不變。由此，我們可以得到：
![\frac{df(x)}{dx} = \left[ \begin{matrix} \frac{df_{1}(x)}{dx} & \frac{df_{2}(x)}{dx} \cdots & \frac{df_{n}(x)}{dx} \end{matrix} \right]](https://math.jianshu.com/math?formula=%5Cfrac%7Bdf(x)%7D%7Bdx%7D%20%3D%20%5Cleft%5B%20%5Cbegin%7Bmatrix%7D%20%5Cfrac%7Bdf_%7B1%7D(x)%7D%7Bdx%7D%20%26%20%5Cfrac%7Bdf_%7B2%7D(x)%7D%7Bdx%7D%20%5Ccdots%20%26%20%5Cfrac%7Bdf_%7Bn%7D(x)%7D%7Bdx%7D%20%5Cend%7Bmatrix%7D%20%5Cright%5D)
【例3】 ![f(\boldsymbol{x})=[f_1(\boldsymbol{x}), f_2(\boldsymbol{x}), ... , f_n(\boldsymbol{x})]](https://math.jianshu.com/math?formula=f(%5Cboldsymbol%7Bx%7D)%3D%5Bf_1(%5Cboldsymbol%7Bx%7D)%2C%20f_2(%5Cboldsymbol%7Bx%7D)%2C%20...%20%2C%20f_n(%5Cboldsymbol%7Bx%7D)%5D)
為向量函數(shù)，為列向量，求。
此例中，分子為向量，分母為也為向量，求導獲得的矩陣共有
個元素。依照布局口訣，分子為向量，需將其各元素橫向拉伸，分母為向量，需將其各元素縱向拉伸。我們先將分母縱向拉伸，再將分子橫向拉伸，可以得到：
![\frac{\partial f(\boldsymbol{x})}{\partial \boldsymbol{x}} = \left[ \begin{matrix} \frac{\partial f(\boldsymbol{x})}{\partial x_{1}}\\ \frac{\partial f(\boldsymbol{x})}{\partial x_{2}} \\ \vdots \\ \frac{\partial f(\boldsymbol{x})}{\partial x_{n}} \end{matrix} \right]= \left[ \begin{matrix} \frac{\partial f_{1}(\boldsymbol{x})}{\partial x_1} & \frac{\partial f_{2}(\boldsymbol{x})}{\partial x_1} & \cdots & \frac{\partial f_{n}(\boldsymbol{x})}{\partial x_1} \\ \frac{\partial f_{1}(\boldsymbol{x})}{\partial x_2} & \frac{\partial f_{2}(\boldsymbol{x})}{\partial x_2} & \cdots & \frac{\partial f_{n}(\boldsymbol{x})}{\partial x_2} \\ \vdots & \vdots & \cdots & \vdots \\ \frac{\partial f_{1}(\boldsymbol{x})}{\partial x_n} & \frac{\partial f_{2}(\boldsymbol{x})}{\partial x_n} & \cdots & \frac{\partial f_{n}(\boldsymbol{x})}{\partial x_n} \end{matrix} \right]](https://math.jianshu.com/math?formula=%5Cfrac%7B%5Cpartial%20f(%5Cboldsymbol%7Bx%7D)%7D%7B%5Cpartial%20%5Cboldsymbol%7Bx%7D%7D%20%3D%20%5Cleft%5B%20%5Cbegin%7Bmatrix%7D%20%5Cfrac%7B%5Cpartial%20f(%5Cboldsymbol%7Bx%7D)%7D%7B%5Cpartial%20x_%7B1%7D%7D%5C%5C%20%5Cfrac%7B%5Cpartial%20f(%5Cboldsymbol%7Bx%7D)%7D%7B%5Cpartial%20x_%7B2%7D%7D%20%5C%5C%20%5Cvdots%20%5C%5C%20%5Cfrac%7B%5Cpartial%20f(%5Cboldsymbol%7Bx%7D)%7D%7B%5Cpartial%20x_%7Bn%7D%7D%20%5Cend%7Bmatrix%7D%20%5Cright%5D%3D%20%5Cleft%5B%20%5Cbegin%7Bmatrix%7D%20%5Cfrac%7B%5Cpartial%20f_%7B1%7D(%5Cboldsymbol%7Bx%7D)%7D%7B%5Cpartial%20x_1%7D%20%26%20%5Cfrac%7B%5Cpartial%20f_%7B2%7D(%5Cboldsymbol%7Bx%7D)%7D%7B%5Cpartial%20x_1%7D%20%26%20%5Ccdots%20%26%20%5Cfrac%7B%5Cpartial%20f_%7Bn%7D(%5Cboldsymbol%7Bx%7D)%7D%7B%5Cpartial%20x_1%7D%20%5C%5C%20%5Cfrac%7B%5Cpartial%20f_%7B1%7D(%5Cboldsymbol%7Bx%7D)%7D%7B%5Cpartial%20x_2%7D%20%26%20%5Cfrac%7B%5Cpartial%20f_%7B2%7D(%5Cboldsymbol%7Bx%7D)%7D%7B%5Cpartial%20x_2%7D%20%26%20%5Ccdots%20%26%20%5Cfrac%7B%5Cpartial%20f_%7Bn%7D(%5Cboldsymbol%7Bx%7D)%7D%7B%5Cpartial%20x_2%7D%20%5C%5C%20%5Cvdots%20%26%20%5Cvdots%20%26%20%5Ccdots%20%26%20%5Cvdots%20%5C%5C%20%5Cfrac%7B%5Cpartial%20f_%7B1%7D(%5Cboldsymbol%7Bx%7D)%7D%7B%5Cpartial%20x_n%7D%20%26%20%5Cfrac%7B%5Cpartial%20f_%7B2%7D(%5Cboldsymbol%7Bx%7D)%7D%7B%5Cpartial%20x_n%7D%20%26%20%5Ccdots%20%26%20%5Cfrac%7B%5Cpartial%20f_%7Bn%7D(%5Cboldsymbol%7Bx%7D)%7D%7B%5Cpartial%20x_n%7D%20%5Cend%7Bmatrix%7D%20%5Cright%5D)
常用矩陣求導公式
符號說明：
推薦書籍
The Matrix Cookbook : http://www2.imm.dtu.dk/pubdb/edoc/imm3274.pdf
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。
,
