矩陣微積分

學(xué)習(xí)矩陣微積分，同時加強記憶同時方便查閱，故寫本文章。
詳細內(nèi)容參考：矩陣微積分-維基百科

向量求導(dǎo)

向量對標(biāo)量求導(dǎo)：

定義：
\vec y_{(n*1)} = \begin {bmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end {bmatrix}
\vec y對x求導(dǎo)：
\frac { d\vec y}{dx}=\begin {bmatrix} \frac {dy_1}{dx} \\ \frac {dy_2}{dx} \\ \vdots \\ \frac {dy_n}{dx} \end {bmatrix}

標(biāo)量對向量求導(dǎo)：

定義：
\vec x_{(n*1)} = \begin {bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end {bmatrix}
y對\vec x求導(dǎo):
(與向量對標(biāo)量不同的是，它是按\vec x^T排列的)
\frac {dy}{d\vec x}=\begin {bmatrix} \frac {dy}{dx_1} & \frac {dy}{dx_2}& \dots & \frac {dy}{dx_n} \end {bmatrix}

向量對向量求導(dǎo)

定義:
\vec y_{(m*1)} = \begin {bmatrix} y_1 \\ y_2 \\ \vdots \\ y_m \end {bmatrix} \vec x_{(n*1)} = \begin {bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}
\vec y對\vec x求導(dǎo):
\frac {d\vec y}{d\vec x} = \begin {bmatrix} \frac {dy_1}{dx_1} & \frac {dy_1}{dx_2} & \dots & \frac {dy_1}{dx_n} \\ \frac {dy_2}{dx_1} & \frac {dy_2}{dx_2} & \dots & \frac {dy_2}{dx_n} \\ \vdots& \vdots & \ddots & \vdots \\ \frac {dy_m}{dx_1} & \frac {dy_m}{dx_2} & \dots & \frac {dy_m}{dx_n} \end {bmatrix}

矩陣求導(dǎo)

矩陣對標(biāo)量求導(dǎo)：

定義：
Y_{(m*n) }= \begin {bmatrix} y_{11} & y_{12} & \dots & y_{1n} \\ y_{21} & y_{22} & \dots & y_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ y_{m1} & y_{m2} & \dots & y_{mn} \end {bmatrix}
Y對x求導(dǎo)：
\frac {dY}{dx}= \begin {bmatrix} \frac {dy_{11}}{dx} & \frac {dy_{12}}{dx} & \dots & \frac {dy_{1n}}{dx} \\ \frac {dy_{21}}{dx} & \frac {dy_{22}}{dx} & \dots & \frac {dy_{2n}}{dx} \\ \vdots & \vdots & \ddots & \vdots \\ \frac {dy_{m1}}{dx} & \frac {dy_{m2}}{dx} & \dots & \frac {dy_{mn}}{dx} \end {bmatrix}

標(biāo)量對矩陣求導(dǎo)：

定義：
X_{(m*n)}= \begin {bmatrix} x_{11} & x_{12} & \dots & x_{1n} \\ x_{21} & x_{22} & \dots & x_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ x_{m1} & x_{m2} & \dots & x_{mn } \end {bmatrix}
y對X求導(dǎo)：
(與矩陣對標(biāo)量求導(dǎo)不同的是，分子是按X^T排列的,所得矩陣為n*m矩陣)
\frac {dy}{dX}= \begin {bmatrix} \frac {dy}{dx_{11}} & \frac {dy}{dx_{21}} & \dots & \frac {dy}{dx_{m1}} \\ \frac {dy}{dx_{12}} & \frac {dy}{dx_{22}} & \dots & \frac {dy}{dx_{m2}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac {dy}{dx_{1n}} & \frac {dy}{dx_{2n}} & \dots & \frac {dy}{dx_{mn}} \end {bmatrix}

以下內(nèi)容我也感到很困惑,以后搞明白了回來更新

矩陣對矩陣求導(dǎo)

在深度學(xué)習(xí)BP算法中：
定義：P = A·B \\ 則： \frac {dP}{dA} = B^T \\ \frac {dP}{dB} = A^T

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容