激活函數(shù)：
神經(jīng)網(wǎng)絡(luò)神經(jīng)元中，輸入的 inputs 通過(guò)加權(quán)，求和后，還被作用了一個(gè)函數(shù)，這個(gè)函數(shù)就是激活函數(shù) Activation Function。
為什么要使用激活函數(shù)？
神經(jīng)網(wǎng)絡(luò)中激活函數(shù)的主要作用是提供網(wǎng)絡(luò)的非線(xiàn)性建模能力，如不特別說(shuō)明，激活函數(shù)一般而言是非線(xiàn)性函數(shù)。假設(shè)一個(gè)示例神經(jīng)網(wǎng)絡(luò)中僅包含線(xiàn)性卷積和全連接運(yùn)算，那么該網(wǎng)絡(luò)僅能夠表達(dá)線(xiàn)性映射，即便增加網(wǎng)絡(luò)的深度也依舊還是線(xiàn)性映射，難以有效建模實(shí)際環(huán)境中非線(xiàn)性分布的數(shù)據(jù)。加入（非線(xiàn)性）激活函數(shù)之后，深度神經(jīng)網(wǎng)絡(luò)才具備了分層的非線(xiàn)性映射學(xué)習(xí)能力。
常用的激活函數(shù)詳解：
1.sigmoid函數(shù)/Logistic 函數(shù)
sigmoid 在定義域內(nèi)處處可導(dǎo)，且兩側(cè)導(dǎo)數(shù)逐漸趨近于0。將具有這類(lèi)性質(zhì)的激活函數(shù)定義為軟飽和激活函數(shù)。如果Z的值很大或者很小的時(shí)候，那么函數(shù)的梯度（函數(shù)的斜率）會(huì)非常小，在反向傳播的過(guò)程中，導(dǎo)致了向底層傳遞的梯度也變得非常小。此時(shí)，網(wǎng)絡(luò)參數(shù)很難得到有效訓(xùn)練。這種現(xiàn)象被稱(chēng)為梯度消失。一般來(lái)說(shuō)， sigmoid 網(wǎng)絡(luò)在 5 層之內(nèi)就會(huì)產(chǎn)生梯度消失現(xiàn)象。
sigmoid函數(shù)一般只用于二分類(lèi)的輸出層。
2.tanh函數(shù)（雙曲正切函數(shù)）
anh也是一種非常常見(jiàn)的激活函數(shù)。與sigmoid相比，它的輸出均值是0，有類(lèi)似于數(shù)據(jù)中心化的效果，使得其收斂速度要比sigmoid快，減少迭代次數(shù)。然而，從途中可以看出，tanh一樣具有軟飽和性，從而造成梯度消失。
使用時(shí)可在隱層使用tanh函數(shù)，在輸出層使用sigmoid函數(shù)。
3.ReLU函數(shù)（修正線(xiàn)性單元）
ReLU的全稱(chēng)是Rectified Linear Units，是一種后來(lái)才出現(xiàn)的激活函數(shù)，也是目前最常用的默認(rèn)選擇激活函數(shù)。 可以看到，當(dāng)x<0時(shí)，ReLU硬飽和，而當(dāng)x>0時(shí)，則不存在飽和問(wèn)題。所以，ReLU 能夠在x>0時(shí)保持梯度不衰減，從而緩解梯度消失問(wèn)題。這讓我們能夠直接以監(jiān)督的方式訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，而無(wú)需依賴(lài)無(wú)監(jiān)督的逐層預(yù)訓(xùn)練。
然而，隨著訓(xùn)練的推進(jìn)，部分輸入會(huì)落入硬飽和區(qū)，導(dǎo)致對(duì)應(yīng)權(quán)重?zé)o法更新。這種現(xiàn)象被稱(chēng)為“神經(jīng)元死亡”。與sigmoid類(lèi)似，ReLU的輸出均值也大于0，偏移現(xiàn)象和 神經(jīng)元死亡會(huì)共同影響網(wǎng)絡(luò)的收斂性。
針對(duì)在x<0的硬飽和問(wèn)題，我們對(duì)ReLU做出相應(yīng)的改進(jìn)，使得?
這就是Leaky-ReLU,
α也可以作為一個(gè)參數(shù)來(lái)學(xué)習(xí)，原文獻(xiàn)建議初始化a為0.25，不采用正則。
