欧美97一区二区三区,999色色日韩女

1.神經(jīng)網(wǎng)絡(luò)概述

神經(jīng)網(wǎng)絡(luò)的作用是給定一組輸(x1,x1...xn)經(jīng)過(guò)一系列的計(jì)算得出一個(gè)輸出a，然后將輸出a和實(shí)值y作比較，不斷地調(diào)整參數(shù)，最終使得輸出a的值達(dá)到合適的位置。

二層神經(jīng)網(wǎng)絡(luò).png

反向傳播是將loss反向傳播回去，本質(zhì)是鏈?zhǔn)椒▌t求導(dǎo)，然后更新權(quán)重參數(shù)。示意圖如下：

計(jì)算流程示意圖.png

2.神經(jīng)網(wǎng)絡(luò)表示及計(jì)算

神經(jīng)網(wǎng)絡(luò)，它包括輸入層，隱藏層和輸出層，分別是第0層、第1層、第2層。但不把輸入層稱為一層，所以這個(gè)神經(jīng)網(wǎng)絡(luò)只有2層，也稱作單隱層神經(jīng)網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)表達(dá)示意圖.png

每一層的計(jì)算包括兩部分，一部分是計(jì)算出z的值，另一部分是利用激活函數(shù)求出輸出值。

神經(jīng)網(wǎng)絡(luò)計(jì)算.png

3、神經(jīng)網(wǎng)絡(luò)的向量化表達(dá)及解釋
對(duì)于兩層神經(jīng)網(wǎng)絡(luò)，從輸入層到隱藏層對(duì)應(yīng)一次邏輯回歸運(yùn)算；從隱藏層到輸出層對(duì)應(yīng)一次邏輯回歸運(yùn)算。每層計(jì)算時(shí)，要注意對(duì)應(yīng)的上標(biāo)和下標(biāo)，一般我們記上標(biāo)方括號(hào)表示layer，下標(biāo)表示第幾個(gè)神經(jīng)元。例如a_i^[l]表示第l層的第i個(gè)神經(jīng)元。注意，i從1開始，l從0開始。

神經(jīng)網(wǎng)絡(luò)向量化表達(dá).png

多個(gè)例子的向量化.png

4.激活函數(shù)

神經(jīng)網(wǎng)絡(luò)隱藏層和輸出層都需要激活函數(shù)，之前都默認(rèn)使用Sigmoid函數(shù)作為激活函數(shù)。其實(shí)，還有其它激活函數(shù)可供使用，不同的激活函數(shù)有各自的優(yōu)點(diǎn)。下面是幾個(gè)不同的激活函數(shù)：

激活函數(shù).png

激活函數(shù)公式推導(dǎo).png

如果使用線性函數(shù)作為激活函數(shù)，最終的輸出仍然是輸入x的線性模型。這樣的話神經(jīng)網(wǎng)絡(luò)就沒(méi)有任何作用了。因此，隱藏層的激活函數(shù)必須要是非線性的。另外，如果所有的隱藏層全部使用線性激活函數(shù)，只有輸出層使用非線性激活函數(shù)，那么整個(gè)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)就類似于一個(gè)簡(jiǎn)單的邏輯回歸模型，而失去了神經(jīng)網(wǎng)絡(luò)模型本身的優(yōu)勢(shì)和價(jià)值。

激活函數(shù)的導(dǎo)數(shù)：