又叫作 Logistic 激活函數(shù)，它將實(shí)數(shù)值壓縮進(jìn) 0 到 1 的區(qū)間內(nèi)，還可以在預(yù)測概率的輸出層中使用。該函數(shù)將大的負(fù)數(shù)轉(zhuǎn)換成 0，將大的正數(shù)轉(zhuǎn)換成 1。數(shù)學(xué)公式為：

Sigmoid

下圖展示了 Sigmoid 函數(shù)及其導(dǎo)數(shù)：

Sigmoid 激活函數(shù)

Sigmoid 導(dǎo)數(shù)

Sigmoid 函數(shù)的三個(gè)主要缺陷：

1. 梯度消失：注意：Sigmoid 函數(shù)趨近 0 和 1 的時(shí)候變化率會(huì)變得平坦，也就是說，Sigmoid 的梯度趨近于 0。神經(jīng)網(wǎng)絡(luò)使用 Sigmoid 激活函數(shù)進(jìn)行反向傳播時(shí)，輸出接近 0 或 1 的神經(jīng)元其梯度趨近于 0。這些神經(jīng)元叫作飽和神經(jīng)元。因此，這些神經(jīng)元的權(quán)重不會(huì)更新。此外，與此類神經(jīng)元相連的神經(jīng)元的權(quán)重也更新得很慢。該問題叫作梯度消失。因此，想象一下，如果一個(gè)大型神經(jīng)網(wǎng)絡(luò)包含 Sigmoid 神經(jīng)元，而其中很多個(gè)都處于飽和狀態(tài)，那么該網(wǎng)絡(luò)無法執(zhí)行反向傳播。

2. 不以零為中心：Sigmoid 輸出不以零為中心的。

3. 計(jì)算成本高昂：exp() 函數(shù)與其他非線性激活函數(shù)相比，計(jì)算成本高昂。

鏈接：http://www.itdecent.cn/p/53bbb4ed78f3