吃瓜教程_Task_4_西瓜書+南瓜書_Chapter5

5. 神經(jīng)網(wǎng)絡(luò)

5.1. 神經(jīng)元模型

神經(jīng)網(wǎng)絡(luò)定義："神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應(yīng)"。

神經(jīng)元接收到來自 n 個其他神經(jīng)元傳遞過來的輸入信號。這些輸入信號通過帶權(quán)重的連接 (connection) 進行傳遞，神經(jīng)元接收到的總輸入值將與神經(jīng)元的閥值進行比較，通過激活函數(shù)處理以產(chǎn)生神經(jīng)元的輸出。

5.2. 感知機與多層網(wǎng)絡(luò)

感知機 (Perceptron) 由兩層神經(jīng)元組成。
感知機能容易地實現(xiàn)邏輯與、或、非運算。

給定訓(xùn)練數(shù)據(jù)集，權(quán)重叫 w_{i}(i=1,2, \ldots, n) 以及閾值 \theta，可通過學(xué)習(xí)得到。

權(quán)重如此學(xué)習(xí)：
\begin{gathered} w_{i} \leftarrow w_{i}+\Delta w_{i} \\ \Delta w_{i}=\eta(y-\hat{y}) x_{i} \end{gathered}

感知機只有一層功能神經(jīng)元，只能處理與、或、非等線性可分問題，無法處理異或這樣的非線性可分問題。
解決非線性可分問題，使用多層功能神經(jīng)元。

5.3. 誤差逆?zhèn)鞑ニ惴?/h2>

BP，用 BP 算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)。

隱層第 h 個神經(jīng)元接受到的輸入為：
\alpha_{h}=\sum_{i=1}^u0z1t8os v_{i h} x_{i}

輸出層第 j 個神經(jīng)元接受到的輸入為：
\beta_{j}=\sum_{h=1}^{q} w_{h j} b_{h}
其中，b_{h} 為隱層第 h 個神經(jīng)元的輸出（經(jīng)過激活函數(shù)后的輸出）。

對訓(xùn)練例 (x_{k},y_{k})，假定網(wǎng)絡(luò)的輸入為 \hat{\boldsymbol{y}}_{k}=\left(\hat{y}_{1}^{k}, \hat{y}_{2}^{k}, \ldots, \hat{y}_{l}^{k}\right)，即
\hat{y}_{j}^{k}=f\left(\beta_{j}-\theta_{j}\right)
則網(wǎng)絡(luò)在 (x_{k},y_{k}) 上的均方誤差為：
E_{k}=\frac{1}{2} \sum_{j=1}^{l}\left(\hat{y}_{j}^{k}-y_{j}^{k}\right)^{2}
上述網(wǎng)絡(luò)中，有 (d+l+1) q+l 個參數(shù)需要確定。

BP 是一個迭代學(xué)習(xí)算法，參數(shù)更新的形式類似，任意參數(shù) v 的更新如下：
v \leftarrow v+\Delta v
采用梯度下降策略，以目標的負梯度方向?qū)?shù)進行調(diào)整。

推導(dǎo)后，
\begin{aligned} \Delta w_{h j} &=\eta g_{j} b_{h} \\ \Delta \theta_{j} &=-\eta g_{j} \\ \Delta v_{i h} &=\eta e_{h} x_{i} \\ \Delta \gamma_{h} &=-\eta e_{h} \end{aligned}
其中，
g_{j} = \hat{y}_{j}^{k}\left(1-\hat{y}_{j}^{k}\right)\left(y_{j}^{k}-\hat{y}_{j}^{k}\right)
e_{h} = b_{h}\left(1-b_{h}\right) \sum_{j=1}^{l} w_{h j} g_{j}

BP 算法的目標是要最小化訓(xùn)練集 D 上的累積誤差：
E=\frac{1}{m} \sum_{k=1}^{m} E_{k}
[Hornik et al., 1989]證明，只需一個包含足夠多神經(jīng)元的隱層，多層前饋網(wǎng)絡(luò)就能以任意精度逼近任意復(fù)雜度的連續(xù)函數(shù).

5.4. 全局最小與局部極小

全局最小一定是局部極小，反之則不成立。

跳出局部極小的策略：

  • 隨機初始化
  • 模擬退火
  • 隨機梯度下降
  • 遺傳算法

5.5. 其他神經(jīng)網(wǎng)絡(luò)

  • RBF，徑向基函數(shù)網(wǎng)絡(luò)
  • ART，競爭型學(xué)習(xí)
  • SOM，自組織映射網(wǎng)絡(luò)
  • 級聯(lián)相關(guān)網(wǎng)絡(luò)
  • Elman，遞歸神經(jīng)內(nèi)網(wǎng)絡(luò)
  • Bolzmann 機

5.6. 深度學(xué)習(xí)

通過多層處理，逐漸將初始的"低層"特征表示轉(zhuǎn)化為"高層"特征表示后，用"簡單模型"即可完成復(fù)雜的分類等學(xué)習(xí)任務(wù)由此可將深度學(xué)習(xí)理解為進行"特征學(xué)習(xí)"(feature learning)或"表示學(xué)習(xí)"(representation learning).

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容