p97- p107
今天去看復(fù)仇者聯(lián)盟了，不錯(cuò)的片子，所以少看了5頁，明天補(bǔ)上。：）

第五章 神經(jīng)網(wǎng)絡(luò)

5.1 神經(jīng)元模型

M-P神經(jīng)元模型：
神經(jīng)元接受n個(gè)神經(jīng)元的輸入信號，各個(gè)帶權(quán)重。
將總輸入值與該神經(jīng)元的閾值比較，然后通過激活函數(shù)處理以產(chǎn)生輸出
見圖p97
每個(gè)神經(jīng)元輸出y = f(∑wixi - θ)。

理想的激活函數(shù)是階躍函數(shù)sgn(x)，但不連續(xù)不光滑。
因此實(shí)際常用sigmoid函數(shù)作為激活函數(shù)。

5.2 感知機(jī)和多層網(wǎng)絡(luò)

感知機(jī)：兩層神經(jīng)元組成。
輸入層：接受外界信號，傳遞給輸出層
輸出層：M-P神經(jīng)元，亦稱“閾值邏輯單元”

感知機(jī)能夠很容易地通過改變w1,w2,θ，實(shí)現(xiàn)與或非運(yùn)算。

感知機(jī)通過學(xué)習(xí)來確定wi,θ：過程見p99。
引出了學(xué)習(xí)率。

可以證明：如果兩類模型是線性可分的，那感知機(jī)的學(xué)習(xí)過程一定會收斂。（見p100 形象的圖）。否則會發(fā)生震蕩。

要解決非線性可分，需要考慮使用多層神經(jīng)元。見p100 圖5.5

輸入層與最終輸出層之間的層：隱含層。

多層前向反饋神經(jīng)網(wǎng)絡(luò)：圖5.6
注：前向指拓補(bǔ)結(jié)構(gòu)不含有回路與環(huán)

總結(jié)：神經(jīng)網(wǎng)絡(luò)學(xué)到的東西，蘊(yùn)含在連接權(quán)與閾值中。

5.3 誤差逆?zhèn)鞑ニ惴?BP)

訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)：BP算法（反向傳播算法）
迭代的過程，每一次更新各個(gè)參數(shù)
BP算法基于梯度下降：以目標(biāo)的負(fù)梯度方向?qū)?shù)進(jìn)行調(diào)整。

具體方法：見p103。
具體偽代碼：見p104。
最終是為了最小化累積誤差。

標(biāo)準(zhǔn)BP vs 累積BP：
標(biāo)準(zhǔn)BP每次只針對一個(gè)數(shù)據(jù)，參數(shù)更新頻繁，需要更多的迭代。
累積BP相反。

注：讀取數(shù)據(jù)集一遍-稱為進(jìn)行了一輪學(xué)習(xí)。

BP表示能力強(qiáng)大，就會帶來過擬合，兩種緩解方案：
1.早停：數(shù)據(jù)集分為訓(xùn)練集和驗(yàn)證集，若訓(xùn)練值誤差降低而驗(yàn)證集增高，就停，返回具有最小驗(yàn)證集誤差的連接權(quán)和閾值。
2.正則化：在誤差目標(biāo)函數(shù)E中加入正則化項(xiàng)，如權(quán)值平方和（描述網(wǎng)格復(fù)雜度）。

5.4 全局最小和局部最小

梯度下降可能會跳入局部最小
三種解決方案：
1.多組不同參數(shù)值初始化多個(gè)神經(jīng)網(wǎng)絡(luò)，去誤差最小的解做最終參數(shù)。
2.“模擬退火”：在每一步都以一定的概率接受比當(dāng)前解更差的結(jié)果。隨迭代進(jìn)行，接受概率變小，以保證穩(wěn)定。
3.隨機(jī)梯度下降

遺傳算法也常用來訓(xùn)練NN

5.5 其他常見神經(jīng)網(wǎng)絡(luò)

5.1 RBF網(wǎng)絡(luò)

單隱層前向反饋神經(jīng)網(wǎng)絡(luò)
使用徑向基函數(shù)作為隱層神經(jīng)元激活函數(shù)
輸出層是隱層神經(jīng)元的線性組合

兩步訓(xùn)練RBF：1）確定中心ci 2） 使用BP確定w,c