? ? ? ? 神經(jīng)網(wǎng)絡(luò)是一個適應(yīng)性很強的模型，在回歸問題和分類問題中都有大量的實際應(yīng)用。由于其模型的多樣性，針對不同的場景可衍生出不同的神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)模型的性能比較好，同時對數(shù)據(jù)的要求比較高，參數(shù)多計算量大，對調(diào)參帶來一定壓力。

1.人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）

? ? ? ? 人工神經(jīng)網(wǎng)絡(luò)沒有一個嚴(yán)格的正式定義。它的基本特點是，試圖模擬大腦的神經(jīng)元之間傳遞、處理信息的模式。神經(jīng)網(wǎng)絡(luò)的劃分主要考慮網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)、神經(jīng)元的特征、神經(jīng)元的特征、學(xué)習(xí)規(guī)則等。根據(jù)連接的拓?fù)浣Y(jié)構(gòu)，神經(jīng)網(wǎng)絡(luò)模型可以分為前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。

2.激活函數(shù)

sigmoid函數(shù)：
$f(x) = \frac{1}{1+e^{-x}}$
特點：

取值介于0~1
$x$ 超出[-6,6]時，取值基本沒有變化
$f^{'}(x) = f(x)*(1-f(x))$

雙曲正切函數(shù)：
$tanh(x) = \frac{e^x-e^{-x}}{e^x+e^{-x}}$
特點：

取值介于-1~1
$x$ 超出[-3,3]時，取值基本沒有變化
$tanh^{'}(x) = 1-tanh(x)^2$

修正線性單元函數(shù)(Rectifier Linear Units,ReLU):
$f(x) = max(1,x)$
特點：

只有一半激活區(qū)，一半為0
不會梯度消失
計算簡單，速度快，加速訓(xùn)練
更接近生物學(xué)原理

Softplus函數(shù)：
$f(x) = log(1+e^x)$
特點：

$x$ 趨于負(fù)無窮時，取值趨于0， $x$ 趨于正無窮時，取值趨于 $x$
是ReLU函數(shù)的平滑版
是Sigmoid函數(shù)的原函數(shù)

3.損失函數(shù)

回歸中的均方損失：
$E = \frac{1}{2}(y-\hat{y})^2$
分類中的交叉熵?fù)p失函數(shù)：
$E = -\sum_m{y_k}log(\hat{y_k})$
熵：香農(nóng)信息量 $log\frac{1}{p}$ 的期望。對于樣本 $x_i$ ,假設(shè)真實的分布為 $p_i(x)$ ,則熵為：
$H(x) = -\sum_{i=1}^mp_i(x)logp_i(x)$
KL散度：如果用預(yù)測的分布 $q_i(x)$ 代替真實的分布 $p_i(x)$ ，則需要額外的信息增量：
$KL(p,q)=\sum_{i=1}^mp_i(x)log(\frac{p_i(x)}{q_i(x)})=\sum_{i=1}^mp_i(x)log(p_i(x))-\sum_{i=1}^mp_i(x)log(q_i(x))=-H(x)-\sum_{i=1}^mp_i(x)log(q_i(x))$