非線性假設(shè)
若使用logistic回歸，通過在模型中加入很多高階項(xiàng)來進(jìn)行非線性分類問題。若只有兩個(gè)特征，則可以構(gòu)建所有可能的特征變量來進(jìn)行擬合。但是當(dāng)特征不是二維，而是很多維時(shí)。特征變量數(shù)量過多時(shí)，可能存在過擬合，同時(shí)計(jì)算復(fù)雜度很大。若只選取其中的一部分特征變量，又會(huì)缺失很多信息。
在計(jì)算機(jī)視覺中，如果要識(shí)別一個(gè)汽車，放大汽車圖像中的一個(gè)點(diǎn)，用一個(gè)表示數(shù)據(jù)表表示汽車各個(gè)像素的值，這樣就可以通過數(shù)據(jù)特征識(shí)別汽車。
模型通過訓(xùn)練集中的數(shù)據(jù)學(xué)習(xí)汽車的不同特征，最后在經(jīng)過測(cè)試集識(shí)別某個(gè)物體是否為汽車
在只有兩個(gè)特征pixel1和pixel2的情況下，每一個(gè)汽車有不同的特征值，根據(jù)特征值可以畫出其在坐標(biāo)中的位置，這樣有多個(gè)汽車，就對(duì)應(yīng)于坐標(biāo)中不同的點(diǎn)，如下圖所示：
通過非線性分類，我們可以將汽車分類出來。但是，這只是對(duì)應(yīng)于兩個(gè)特征的情況，實(shí)際上，圖像識(shí)別時(shí)，特征變量有很多。假設(shè)灰度圖片的像素是50*50，那么特征的維度就是2500。每一個(gè)樣本x對(duì)應(yīng)于2500個(gè)特征，而此特征就有2500^2~30萬(wàn)個(gè)。而且這只是對(duì)應(yīng)于灰度圖片，若是彩色圖片，n=2500*3=7500，特征向量更多。
神經(jīng)元與大腦
生物上的神經(jīng)重連實(shí)驗(yàn)表明，專門處理觸覺信息的大腦皮層可以通過訓(xùn)練，處理視覺信息。受此啟發(fā)，我們要想使機(jī)器完成不同的任務(wù)，也許不需要設(shè)計(jì)不同種類的代碼，只要讓機(jī)器學(xué)會(huì)處理不同的數(shù)據(jù)就可以了。將任何傳感器接入大腦，大腦的學(xué)習(xí)算法就能很快找到處理這些數(shù)據(jù)的方法。如果我們能找到大腦的學(xué)習(xí)算法，然后在計(jì)算機(jī)上執(zhí)行和大腦的學(xué)習(xí)算法相似的算法，也許就能實(shí)現(xiàn)人工智能。
神經(jīng)網(wǎng)絡(luò)是多個(gè)神經(jīng)元的集合，第一層為輸入層，包含三個(gè)輸入單元，可以加入偏置單元
，且其值永遠(yuǎn)為1；第二層為隱藏層，包含三個(gè)神經(jīng)元，最后一層輸出層，包含一個(gè)神經(jīng)元，該神經(jīng)元決定了會(huì)后假設(shè)函數(shù)
的計(jì)算結(jié)果。在監(jiān)督學(xué)習(xí)中，我們可以看到輸入和輸出，但是訓(xùn)練集里是看不到隱含層里的值。實(shí)際上不屬于輸入層和輸出層的，我們都稱之為隱含層，隱含層可能有多層。
在神經(jīng)網(wǎng)絡(luò)中還要定義幾個(gè)變量表示第j層的第i個(gè)單元的激活函數(shù)，表示由一個(gè)具體的神經(jīng)元計(jì)算并輸出的值，對(duì)應(yīng)于神經(jīng)網(wǎng)絡(luò)圖中的第二層。
表示一個(gè)從第j層到第j+1層的權(quán)重矩陣。
從輸入層到隱藏層到輸出層，依次計(jì)算激活項(xiàng)，最后得到輸出。
如果忽略第一層輸入層，后面的部分結(jié)構(gòu)與logistic回歸相似，即通過輸入數(shù)據(jù)的特征和sigmoid函數(shù)進(jìn)行預(yù)測(cè)。神經(jīng)網(wǎng)絡(luò)就是不經(jīng)過輸入的特征直接進(jìn)行分類，而是通過隱含層的學(xué)習(xí)算法得到特征和構(gòu)建模型，其模型結(jié)果可能比logistic模型更加有效。
神經(jīng)網(wǎng)絡(luò)如何進(jìn)行復(fù)雜非線性分類問題
神經(jīng)網(wǎng)絡(luò)進(jìn)行多元分類
上述神經(jīng)網(wǎng)路有四個(gè)輸出，每個(gè)輸出對(duì)應(yīng)不同的判斷結(jié)果，如第一個(gè)輸出判斷是否為行人。
