一、感知器
下圖為一個(gè)感知器，單個(gè)神經(jīng)元。
5_06.png
該感知器的算法：
5_07.png
二、多層人工神經(jīng)網(wǎng)絡(luò)
（1）基本概念
神經(jīng)網(wǎng)絡(luò)，這里先以前饋神經(jīng)網(wǎng)絡(luò)為介紹，每層為全連接，則對(duì)于2個(gè)神經(jīng)元，參數(shù)為：
（1）w權(quán)值，（2）b偏置，（3）delta 激活函數(shù)。
多層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖，以下為前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)（2層）：
5_08.png
常用的 delta 激活函數(shù)：
5_09.png
基于梯度下降的權(quán)值更新：
}{\partial w_{j}})
lambda為學(xué)習(xí)率。
（2）反向傳播（back-propagation）
對(duì)于數(shù)據(jù)集，可以使用mini-batch，每次選取一部分，直到將數(shù)據(jù)使用完畢。每次每個(gè)數(shù)據(jù)包括兩個(gè)階段， 向前階段和向后階段。
向前階段：通過(guò)初始權(quán)值、初始偏置和激活函數(shù)，每次更新隱藏層和輸出層的值；
向后階段：通過(guò)權(quán)值更新法則，更新權(quán)值和偏置。
直到數(shù)據(jù)使用完畢，或者，權(quán)值更新的差值小于某個(gè)閾值。
（3）神經(jīng)網(wǎng)絡(luò)特點(diǎn)
1、至少含有一個(gè)隱藏層的是一種普適近似（universal approximator），即可以用來(lái)近似任何目標(biāo)函數(shù)。
2、可以處理冗余特征，冗余特征的權(quán)值會(huì)非常小。
3、梯度下降法會(huì)收斂到局部極小值，避免方法可以在權(quán)值更新公式上加上一個(gè)動(dòng)量項(xiàng)（momentum term）
