Tanh 激活函數(shù)

Tanh 導(dǎo)數(shù)

Tanh 激活函數(shù)又叫作雙曲正切激活函數(shù)（hyperbolic tangent activation function）。與 Sigmoid 函數(shù)類似，Tanh 函數(shù)也使用真值，但 Tanh 函數(shù)將其壓縮至-1 到 1 的區(qū)間內(nèi)。與 Sigmoid 不同，Tanh 函數(shù)的輸出以零為中心，因?yàn)閰^(qū)間在-1 到 1 之間。你可以將 Tanh 函數(shù)想象成兩個(gè) Sigmoid 函數(shù)放在一起。在實(shí)踐中，Tanh 函數(shù)的使用優(yōu)先性高于 Sigmoid 函數(shù)。負(fù)數(shù)輸入被當(dāng)作負(fù)值，零輸入值的映射接近零，正數(shù)輸入被當(dāng)作正值。唯一的缺點(diǎn)是：

Tanh 函數(shù)也會有梯度消失的問題，因此在飽和時(shí)也會「殺死」梯度。

鏈接：http://www.itdecent.cn/p/53bbb4ed78f3

來源：簡書

簡書著作權(quán)歸作者所有，任何形式的轉(zhuǎn)載都請聯(lián)系作者獲得授權(quán)并注明出處。