神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互聯(lián)的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng)
最基本的成分是神經(jīng)元模型，即“簡(jiǎn)單單元”
每個(gè)神經(jīng)元與其他神經(jīng)元相連，當(dāng)它興奮時(shí)（電位超過(guò)閾值），會(huì)向相連的神經(jīng)元發(fā)送化學(xué)物質(zhì)，從而改變這些神經(jīng)元的電位。
理想的激活函數(shù)是階躍函數(shù)（1：神經(jīng)元興奮 0：神經(jīng)元抑制），但由于其不連續(xù)不光滑，常用Sigmoid函數(shù)作為激活函數(shù)
許多個(gè)神經(jīng)元按一定的層次結(jié)構(gòu)連接起來(lái)就得到了神經(jīng)網(wǎng)絡(luò)
神經(jīng)網(wǎng)絡(luò)是包含了許多參數(shù)的數(shù)學(xué)模型，是若干個(gè)函數(shù)相互嵌套而得
感知機(jī)由兩層神經(jīng)元組成，輸入層接收外界輸入信號(hào)后傳遞給輸出層
感知機(jī)學(xué)習(xí)規(guī)則：
n∈(0,1) 稱為學(xué)習(xí)率(learning rate)
感知機(jī)學(xué)習(xí)能力有限，只有輸出層神經(jīng)元進(jìn)行激活函數(shù)處理，只擁有一層功能神經(jīng)元
感知機(jī)對(duì)線性可分問(wèn)題 一定會(huì)收斂 求得適當(dāng)?shù)臋?quán)向量
否則會(huì)發(fā)生震蕩 難以穩(wěn)定 不能求得合適解
多層前饋神經(jīng)網(wǎng)絡(luò)（multi-layer feedforward neural networks):
每層神經(jīng)元與下一層神經(jīng)元全互聯(lián)，不存在同層連接和跨層連接。
隱層（hidden layer):輸出層與輸入層之間的神經(jīng)元層
“單隱層網(wǎng)絡(luò)” or “兩層網(wǎng)絡(luò)” （包含隱層都可稱為多層網(wǎng)絡(luò)）
隱含層 和 輸出層 神經(jīng)元都是擁有激活函數(shù)的功能神經(jīng)元
神經(jīng)網(wǎng)絡(luò)學(xué)到的東西蘊(yùn)含在連接權(quán)與閾值之中
誤差逆?zhèn)鞑ィ‥rror BackPropagation BP）算法: 迭代學(xué)習(xí)算法訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)
基于梯度下降策略，以目標(biāo)的負(fù)梯度方向?qū)?shù)進(jìn)行調(diào)整
- 輸入示例提供給神經(jīng)網(wǎng)絡(luò)，產(chǎn)生輸出層結(jié)果
- 計(jì)算輸出層誤差
- 將誤差逆向傳播至隱層神經(jīng)元
- 根據(jù)隱層神經(jīng)元誤差對(duì)連接權(quán)和閾值進(jìn)行調(diào)整
BP算法的目標(biāo)是要最小化訓(xùn)練集上的累計(jì)誤差
標(biāo)準(zhǔn)BP算法
- 是針對(duì)一個(gè)訓(xùn)練樣例更新參數(shù)，參數(shù)更新頻繁，需要多次迭代
- 對(duì)不同樣例，更新效果可能出現(xiàn)“抵消”
累計(jì)BP算法
- 讀取整個(gè)訓(xùn)練集后才進(jìn)行參數(shù)更新，頻率低
- 在很多任務(wù)中，當(dāng)累計(jì)誤差下降到一定程度后，進(jìn)一步下降非常緩慢
BP神經(jīng)網(wǎng)絡(luò)經(jīng)常會(huì)過(guò)擬合，訓(xùn)練誤差降低但測(cè)試誤差可能上升
- 早停：當(dāng)訓(xùn)練集誤差降低但測(cè)試誤差身高時(shí)停止訓(xùn)練，返回最小驗(yàn)證集誤差的參數(shù)
- 正則化：在誤差目標(biāo)函數(shù)中增加一個(gè)用于描述網(wǎng)絡(luò)復(fù)雜度的部分（e.g. 連接權(quán)與閾值的平方和）
“跳出”局部最小，獲得全局最小
- 多組不同參數(shù)值初始化多個(gè)神經(jīng)網(wǎng)絡(luò)
- 使用模擬退火，每一步以一定概率（隨時(shí)間推移而降低）接受比當(dāng)前解更差的結(jié)果
- 使用隨機(jī)梯度下降，計(jì)算梯度時(shí)加入隨機(jī)因素
常見神經(jīng)網(wǎng)絡(luò)
深度學(xué)習(xí)：
無(wú)監(jiān)督逐層訓(xùn)練是多隱層網(wǎng)絡(luò)訓(xùn)練的有效手段
- 預(yù)訓(xùn)練：每次訓(xùn)練一層隱結(jié)點(diǎn)。上一層隱結(jié)點(diǎn)輸出作為輸入，本層隱結(jié)點(diǎn)輸出作為下一次的輸入。
-
微調(diào)：預(yù)訓(xùn)練全部完成后，對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行微調(diào)
E.G. 深度信念網(wǎng)絡(luò)DBN
或者 -
權(quán)共享：讓一組神經(jīng)元使用相同的連接權(quán)。
E.G. 卷積神經(jīng)網(wǎng)絡(luò)CNN
