1、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

神經(jīng)網(wǎng)絡(luò)是一種應(yīng)用類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型。神經(jīng)元為神經(jīng)網(wǎng)絡(luò)中的基本組成單位，

下圖為單個(gè)神經(jīng)元的圖片，如圖所示，每個(gè)神經(jīng)元的輸入包含多個(gè)變量x1——xn以及一個(gè)偏置值b，同時(shí)輸出h(x) = f(w1x1+w2x2+w3*x3+b)，f(x)稱激活函數(shù)。激活函數(shù)是用來(lái)加入非線性因素的，因?yàn)榫€性模型的表達(dá)能力不夠(若采用性激活函數(shù)，將網(wǎng)絡(luò)的多層展開(kāi)，會(huì)發(fā)現(xiàn)都只是相當(dāng)于一層的結(jié)果)。

，其函數(shù)圖像如下圖所示。

image

2、神經(jīng)網(wǎng)絡(luò)模型

將許多神經(jīng)元連接在一起，某些神經(jīng)元的輸出為另一些神經(jīng)元的輸入，就可以構(gòu)成神經(jīng)網(wǎng)絡(luò)。如下圖，為一個(gè)簡(jiǎn)單的三層神經(jīng)網(wǎng)絡(luò)。

圖中每一個(gè)圓代表一個(gè)神經(jīng)元的輸入，寫(xiě)有b的圓代表偏置項(xiàng)。圖中最左邊的層稱為輸入層，我們圖中的神經(jīng)網(wǎng)絡(luò)有三個(gè)輸入單元。最右邊一層成為輸出層，輸出層可以有一個(gè)結(jié)點(diǎn)，也可以有多個(gè)結(jié)點(diǎn)，表示整個(gè)網(wǎng)絡(luò)的輸出。其他中間的層成為隱含層。

我這里用a_li表示第l層第i個(gè)單元的激活值，即a₂₂表示第二層第二個(gè)神經(jīng)元的激活值；用W_ij^l表示第l層第i個(gè)神經(jīng)元和第l+1層第j個(gè)神經(jīng)元之間的連接參數(shù);用b^l表示第l層的偏置參數(shù)。則在我們的網(wǎng)絡(luò)中第2層的神經(jīng)元可以如下公式計(jì)算。

到這里我們發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)的計(jì)算可以表示成十分整齊的矩陣乘法運(yùn)算，所以在實(shí)際神經(jīng)網(wǎng)絡(luò)的運(yùn)算中一般將其表示為GPU上的矩陣運(yùn)算來(lái)提高運(yùn)算速度。