神經(jīng)網(wǎng)絡(luò)的每一層基本都是在一個(gè)線性運(yùn)算后面來一個(gè)非線性激活函數(shù)（Activation function），再把值傳給下一層的。激活函數(shù)有多種，這篇文章主要就是介紹各種激活函數(shù)和它們的對(duì)比。
為啥要有非線性的激活函數(shù)（non-linear activation function）
什么是線性函數(shù)？就是形如y=ax+b這樣的函數(shù)。我們知道，n和線性函數(shù)嵌套起來，還是線性函數(shù)：
y=a1(a2x+b2)+b1
=a1a2x+a1b2+b1
=cx+d
而我們每一層的輸入，都是按照Z=WX+b這樣的線性公式在計(jì)算的，再經(jīng)過一個(gè)線性的激活，還是線性的。然后經(jīng)過下一層，還是線性的，也就是中間不管多少層，最后的結(jié)果，依然是最初的輸入X的線性表示，那不就相當(dāng)于只有一層了嗎？
這樣，n層的神經(jīng)網(wǎng)絡(luò)，就相當(dāng)于一個(gè)簡(jiǎn)單的Logistic regression了。
因此，我們必須采用一個(gè)非線性的激活函數(shù)，讓每一層都有意義，讓每一層都有其特定的功能！
下面逐一介紹各種非線性激活函數(shù)：
一、sigmoid函數(shù)（σ）
這玩意兒大家最熟悉了，放個(gè)圖：
圖畫的還可以吧，純PPT畫圖...( ?′ω`? )
這個(gè)也沒什么好講的了，公式圖上也給出了。
它的求導(dǎo)可以稍微記憶一下：
a(z)' = a(z)×[1-a(z)]
畢竟如果我們需要自己推導(dǎo)梯度下降的過程的話，這個(gè)求導(dǎo)公式還是很有用的。
sigmoid的特點(diǎn)如下：
- 很好的擬合了0,1輸出，常作為二分類問題（binary classification）的激活函數(shù)。
- 它的導(dǎo)數(shù)為兩邊小中間大。
二、tanh函數(shù)
這個(gè)又叫“雙曲正切”函數(shù)，也是直接上圖：
有人會(huì)說：誒？跟sigmoid長的好像喲~
對(duì)了！它就是sigmoid向下平移了一個(gè)單位得到的。形狀是一模一樣的。
它的導(dǎo)數(shù)也很有特點(diǎn)：
a(z)' = 1-[a(z)]2
相比于sigmoid，它的關(guān)于原點(diǎn)對(duì)稱的，根據(jù)吳恩達(dá)的說法，這樣的性質(zhì)使得模型在訓(xùn)練時(shí)性能往往比sigmoid更好，因此在中間層一般都不用sigmoid作為激活函數(shù)，而用tanh來代替。但是在output層，對(duì)于二分類問題，我們都要使用sigmoid，因?yàn)橐獢M合0,1的輸出。
——sigmoid和tanh共同的問題：
當(dāng)z比較大或者比較小的時(shí)候（也就是在曲線的兩頭），函數(shù)的導(dǎo)數(shù)會(huì)非常小，會(huì)導(dǎo)致參數(shù)的梯度也非常小，這樣我們?cè)谟?strong>梯度下降法進(jìn)行訓(xùn)練的時(shí)候就會(huì)非常慢，尤其是當(dāng)數(shù)據(jù)量很大的時(shí)候。
因此，我們有了下面的函數(shù)：
三、ReLU函數(shù)
ReLU的全稱是Rectified linear unit（線性整流單元）。聽起來好像很復(fù)雜的樣子，其實(shí)就是一個(gè)賊簡(jiǎn)單的分段函數(shù)，小學(xué)生都會(huì)畫的：
其實(shí)，它的公式可以用一行來表示：a=max(z,0)，在python中就是一行代碼。
有時(shí)是真是忍不住說它是線性函數(shù)，畢竟每一段都是線性的，但是人家就是實(shí)實(shí)在在的非線性函數(shù)，它不會(huì)使多層神經(jīng)網(wǎng)絡(luò)退化成單層。
但是因?yàn)樗恳欢味际蔷€性的，而且導(dǎo)數(shù)要么是0，要么是1，計(jì)算簡(jiǎn)單，大小合適，因此梯度下降算起來很快，于是迅速被廣泛地使用了起來，完美地替代了sigmoid、tanh這些激活函數(shù)。（只是多數(shù)情況，有一些特殊的網(wǎng)絡(luò)還是會(huì)使用tanh和sigmoid，比如RNNs）
ReLU看起來有點(diǎn)簡(jiǎn)單粗暴了，有人覺得導(dǎo)數(shù)為0的那一段看的不順眼，于是發(fā)明了Leaky ReLU，顧名思義，就是把那一段也掰下來一點(diǎn)：
據(jù)說效果可以比ReLU更好一些。
ReLU還有很多其他的變體，但是最最常使用的效果最穩(wěn)定的還是ReLU。
因此，之后在設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的時(shí)候，選擇激活函數(shù)我們就可以放心大膽地選擇ReLU，它不僅速度快，而且效果好。
其實(shí)我最開始也有疑問，ReLU按道理比sigmoid簡(jiǎn)單多了，為什么反而效果更好？一般情況下，不是越簡(jiǎn)單的效果越不好嗎？
其實(shí)深度學(xué)習(xí)中，模型不是最重要的，尤其是在業(yè)界，大家廣泛使用的也許并不是最先進(jìn)最復(fù)雜的模型，而是一個(gè)經(jīng)典的簡(jiǎn)單的模型。比模型更重要的是數(shù)據(jù)。有足夠多的訓(xùn)練樣本，迭代足夠多的次數(shù)，簡(jiǎn)單的模型也可以達(dá)到極好的效果。ReLU的優(yōu)勢(shì)就在于其簡(jiǎn)單迅速，因此在短時(shí)間內(nèi)可以進(jìn)行大量的迭代，因此在業(yè)界得到廣泛的使用。
2018.8.10更新：
今天突然發(fā)現(xiàn)之前漏了一個(gè)重要的激活函數(shù)：Softmax
四、Softmax
Softmax可以看做是對(duì)sigmoid的一種推廣。我們?cè)谧龆诸悊栴}的時(shí)候，一般都使用sigmoid作為輸出層激活函數(shù)，因?yàn)樗姆秶?~1之間。但是如果我們需要進(jìn)行多分類呢？
于是我們有了Softmax函數(shù)。
Z的計(jì)算跟所有其他激活函數(shù)一樣，都是線性運(yùn)算：Z=WA[l-1]+b
然后A怎么計(jì)算呢：
a = ez/sum(ez)
a就相當(dāng)于圖上的[p1,p2,p3,p4]組成的向量。
其中各個(gè)分量之和為1，這從公式也可以很容易看出來。這樣，每一個(gè)分量就代表該類別的概率。
對(duì)于多分類問題，我們采用的損失函數(shù)也稍有不同：
L(y,y^) = -Σyi·logy^i
也稱為交叉熵（crossentropy）。
好了，關(guān)于這個(gè)激活函數(shù)的內(nèi)容差不多就這些了。
歡迎關(guān)注我的專欄：
DeepLearning.ai學(xué)習(xí)筆記
和我一起一步步學(xué)習(xí)深度學(xué)習(xí)。
專欄其他文章：
【DL筆記1】Logistic回歸：最基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)
【DL筆記2】神經(jīng)網(wǎng)絡(luò)編程原則&Logistic Regression的算法解析
【DL筆記3】一步步親手用python實(shí)現(xiàn)Logistic Regression
【DL筆記4】神經(jīng)網(wǎng)絡(luò)詳解，正向傳播和反向傳播
【DL筆記】神經(jīng)網(wǎng)絡(luò)參數(shù)初始化的學(xué)問
【DL筆記】神經(jīng)網(wǎng)絡(luò)中的優(yōu)化算法
