這是神經(jīng)網(wǎng)絡(luò)正向傳播的方程，現(xiàn)在我們?nèi)サ艏せ詈瘮?shù)g，然后令a^([1])=z^([1])，或者我們也可以令g(z)=z，這個有時被叫做線性激活函數(shù)（更學(xué)術(shù)點的名字是恒等激勵函數(shù)，因為它們就是把輸入值輸出）。

我們稍后會談到深度網(wǎng)絡(luò)，有很多層的神經(jīng)網(wǎng)絡(luò)，很多隱藏層。事實證明，如果你使用線性激活函數(shù)或者沒有使用一個激活函數(shù)，那么無論你的神經(jīng)網(wǎng)絡(luò)有多少層一直在做的只是計算線性函數(shù)，所以不如直接去掉全部隱藏層。在我們的簡明案例中，事實證明如果你在隱藏層用線性激活函數(shù)，在輸出層用sigmoid函數(shù)，那么這個模型的復(fù)雜度和沒有任何隱藏層的標準Logistic回歸是一樣的，如果你愿意的話，可以證明一下。

在這里線性隱層一點用也沒有，因為這兩個線性函數(shù)的組合本身就是線性函數(shù)，所以除非你引入非線性，否則你無法計算更有趣的函數(shù)，即使你的網(wǎng)絡(luò)層數(shù)再多也不行；只有一個地方可以使用線性激活函數(shù)------g(z)=z，就是你在做機器學(xué)習(xí)中的回歸問題。y 是一個實數(shù)，舉個例子，比如你想預(yù)測房地產(chǎn)價格，y 就不是二分類任務(wù)0或1，而是一個實數(shù)，從0到正無窮。如果y 是個實數(shù)，那么在輸出層用線性激活函數(shù)也許可行，你的輸出也是一個實數(shù)，從負無窮到正無窮。

總而言之，不能在隱藏層用線性激活函數(shù)，可以用ReLU或者tanh或者leaky ReLU或者其他的非線性激活函數(shù)，唯一可以用線性激活函數(shù)的通常就是輸出層；除了這種情況，會在隱層用線性函數(shù)的，除了一些特殊情況，比如與壓縮有關(guān)的，那方面在這里將不深入討論。在這之外，在隱層使用線性激活函數(shù)非常少見。因為房價都是非負數(shù)，所以我們也可以在輸出層使用ReLU函數(shù)這樣你的^y都大于等于0。