西瓜書(shū)第五章神經(jīng)網(wǎng)絡(luò)

5.1?M-P神經(jīng)元

5.2? 感知機(jī)

5.3? 神經(jīng)網(wǎng)絡(luò)

1）神經(jīng)元是神經(jīng)網(wǎng)絡(luò)中的基礎(chǔ)元件，其接收來(lái)自n 個(gè)其它神經(jīng)元傳遞過(guò)來(lái)的輸入信號(hào)，這些輸入數(shù)據(jù)通過(guò)加權(quán)計(jì)算之后，神經(jīng)元將會(huì)判斷其是否超過(guò)神經(jīng)元閾值。如果超過(guò)閾值，神經(jīng)元將被激活，并通過(guò)“激活函數(shù)”（activation function）產(chǎn)生神經(jīng)元的輸出。

2）神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程就是根據(jù)訓(xùn)練數(shù)據(jù)對(duì)網(wǎng)絡(luò)中神經(jīng)元之間的權(quán)重以及每個(gè)功能神經(jīng)元的閾值進(jìn)行調(diào)整的過(guò)程。

3）BP算法是多層神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)主流算法。

4）神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中要加入適當(dāng)?shù)摹耙馔狻保员苊庀萑刖植孔顑?yōu)。

5）將許多個(gè)神經(jīng)元按一定的層次結(jié)構(gòu)連接起來(lái)，就得到了神經(jīng)網(wǎng)絡(luò)，而不同的神經(jīng)元結(jié)構(gòu)、不同的激活函數(shù)選擇、不同的誤差指標(biāo)選擇、不同的學(xué)習(xí)策略都會(huì)導(dǎo)致形成不同的神經(jīng)網(wǎng)絡(luò)。

6）深度學(xué)習(xí)的訓(xùn)練是基于“預(yù)訓(xùn)練＋微調(diào)”的策略進(jìn)行的。

7）我們可以將深度學(xué)習(xí)理解為進(jìn)行“特征學(xué)習(xí)”的過(guò)程。