什么是神經(jīng)網(wǎng)絡(luò)？先上一張圖
圖片發(fā)自簡書App
可以看到神經(jīng)網(wǎng)絡(luò)和感知機(jī)很像，它由一個(gè)輸入層、一個(gè)輸出層和多個(gè)隱藏層組成，輸入層的神經(jīng)元對(duì)應(yīng)于感知機(jī)的輸入，輸出層對(duì)應(yīng)于感知機(jī)的輸出，隱藏層對(duì)應(yīng)于感知機(jī)的疊加，它即是上一個(gè)感知機(jī)的輸出，又是下一個(gè)感知機(jī)的輸入。
我們把感知機(jī)改造一下，變成下面的形式：
圖片發(fā)自簡書App
從圖中可以看出感知機(jī)的輸出可以分成兩步：
- a = w1 * x1 + w2 * x2 + b
- y = h(a)
h(a)就是激活函數(shù)，在感知機(jī)里面， y要么是0，要么是1， h(a)一般被稱為階躍函數(shù)。
而在神經(jīng)網(wǎng)絡(luò)里面，激活函數(shù)比較常用的是sigmoid函數(shù)，它的定義如下：
h(a) = 1 / (1 - exp(-x))
如果我們把它畫在坐標(biāo)軸上，它長這樣：
圖片發(fā)自簡書App
它和階躍函數(shù)（圖中的虛線部分）的區(qū)別在于，它把任意一個(gè)數(shù)變成了0到1之間的一個(gè)數(shù)。
如果我們把神經(jīng)網(wǎng)絡(luò)想象成一個(gè)電路，輸入 x想象成輸入電流，那么感知機(jī)就像一個(gè)電流開關(guān)，它要么讓電流通過，要么不讓電流通過。使用，它要么讓電流通過，要么不讓電流通過。使用sigmoid的神經(jīng)網(wǎng)絡(luò)就像一個(gè)電流調(diào)節(jié)器，它可以調(diào)整電量的大小。
