Affine層（仿射變換）的誤差反向傳播圖如下：
正向傳播的公式：
Y = X * W + B
這里X, W均為矩陣，其中X為輸入數(shù)據(jù)，W為權(quán)重值， B為偏置值且是一個(gè)行向量。對上述公式的python代碼如下：
X = np.array([[0, 0, 0], [10, 10, 10]])
B = np.array([1, 2, 3])
print(X_dot_W)
print(X_dot_W + B)
結(jié)果為
[[ 0 0 0]
[10 10 10]]
[[ 1 2 3]
[11 12 13]]
可以看到，X * W中的兩個(gè)數(shù)據(jù)的每一個(gè)元素都被加上了偏置。正向傳播的時(shí)候，偏置會被加到每一個(gè)數(shù)據(jù)上。因此，反向傳播的時(shí)候，各個(gè)數(shù)據(jù)的反向傳播的值需要匯總為偏置的元素。python代碼如下所示：
dY = np.array([[1, 2, 3], [4, 5, 6]])
dB = np.sum(dY, axis=0)
print(dB)
結(jié)果為：
[5 7 9]
可能你不懂該代碼上面的一行是什么意思，也不懂代碼是什么意思。但是我們需要明白的一點(diǎn)是，任何參數(shù)的偏導(dǎo)數(shù)都與該參數(shù)的矩陣形狀一致。比如，反向傳播時(shí)候我們求X,W的偏導(dǎo)數(shù)都與X,W的形狀一致。因此，我們很容易得出偏置B的偏導(dǎo)數(shù)也應(yīng)該是一個(gè)形狀為1*3的行向量。接下來我們分析這句話“反向傳播的時(shí)候，各個(gè)數(shù)據(jù)的反向傳播的值需要匯總為偏置的元素”，看似很難理解，我們再看與它對應(yīng)的代碼：
dB = np.sum(dY, axis=0) #axis=0 表示將向量沿y=0方向相加（縱向）
該代碼的含義有兩點(diǎn)：
- 將這個(gè)矩陣縱向按行相加
- 去掉np.array最外層的[ ]
第二點(diǎn)我在上面已經(jīng)解釋清楚就是偏導(dǎo)數(shù)和變量要在矩陣形狀上保持一致，對于第一點(diǎn)，為什么我們要將向量縱向相加呢？讓我們好好思考一下dB的含義：它是表示偏置的返回量。我們在做正向傳播的時(shí)候，偏置加到的是每一個(gè)向量上，也就是說每一幅圖片，在其中三個(gè)元素表示的位置上，都增加了偏置，所以反向傳播的時(shí)候，返回的應(yīng)該是這三個(gè)位置的偏執(zhí)的總和。所以第一個(gè)偏置的和為1+4=5，第二個(gè)為2+5=7，第三個(gè)為3+6=9，因此我們就可以理解了在仿射變化的誤差反向傳播中，關(guān)于偏置的反向傳播的計(jì)算問題。
