http://blog.csdn.net/google19890102/article/details/50522945
交叉熵代價(jià)函數(shù)（Cross-entropy cost function）是用來(lái)衡量人工神經(jīng)網(wǎng)絡(luò)（ANN）的預(yù)測(cè)值與實(shí)際值的一種方式。與二次代價(jià)函數(shù)相比，它能更有效地促進(jìn)ANN的訓(xùn)練。在介紹交叉熵代價(jià)函數(shù)之前，本文先簡(jiǎn)要介紹二次代價(jià)函數(shù)，以及其存在的不足。
? ? ? ??ANN的設(shè)計(jì)目的之一是為了使機(jī)器可以像人一樣學(xué)習(xí)知識(shí)。人在學(xué)習(xí)分析新事物時(shí)，當(dāng)發(fā)現(xiàn)自己犯的錯(cuò)誤越大時(shí)，改正的力度就越大。比如投籃：當(dāng)運(yùn)動(dòng)員發(fā)現(xiàn)自己的投籃方向離正確方向越遠(yuǎn)，那么他調(diào)整的投籃角度就應(yīng)該越大，籃球就更容易投進(jìn)籃筐。同理，我們希望：ANN在訓(xùn)練時(shí)，如果預(yù)測(cè)值與實(shí)際值的誤差越大，那么在反向傳播訓(xùn)練的過(guò)程中，各種參數(shù)調(diào)整的幅度就要更大，從而使訓(xùn)練更快收斂。然而，如果使用二次代價(jià)函數(shù)訓(xùn)練ANN，看到的實(shí)際效果是，如果誤差越大，參數(shù)調(diào)整的幅度可能更小，訓(xùn)練更緩慢。
? ? ? ??以一個(gè)神經(jīng)元的二類(lèi)分類(lèi)訓(xùn)練為例，進(jìn)行兩次實(shí)驗(yàn)（ANN常用的激活函數(shù)為sigmoid函數(shù)，該實(shí)驗(yàn)也采用該函數(shù)）：輸入一個(gè)相同的樣本數(shù)據(jù)x=1.0（該樣本對(duì)應(yīng)的實(shí)際分類(lèi)y=0）；兩次實(shí)驗(yàn)各自隨機(jī)初始化參數(shù)，從而在各自的第一次前向傳播后得到不同的輸出值，形成不同的代價(jià)（誤差）：
實(shí)驗(yàn)1：第一次輸出值為0.82
實(shí)驗(yàn)2：第一次輸出值為0.98
? ? ? ??在實(shí)驗(yàn)1中，隨機(jī)初始化參數(shù)，使得第一次輸出值為0.82（該樣本對(duì)應(yīng)的實(shí)際值為0）；經(jīng)過(guò)300次迭代訓(xùn)練后，輸出值由0.82降到0.09，逼近實(shí)際值。而在實(shí)驗(yàn)2中，第一次輸出值為0.98，同樣經(jīng)過(guò)300迭代訓(xùn)練，輸出值只降到了0.20。
? ? ? ??從兩次實(shí)驗(yàn)的代價(jià)曲線中可以看出：實(shí)驗(yàn)1的代價(jià)隨著訓(xùn)練次數(shù)增加而快速降低，但實(shí)驗(yàn)2的代價(jià)在一開(kāi)始下降得非常緩慢；直觀上看，初始的誤差越大，收斂得越緩慢。
? ? ? ??其實(shí)，誤差大導(dǎo)致訓(xùn)練緩慢的原因在于使用了二次代價(jià)函數(shù)。二次代價(jià)函數(shù)的公式如下：
? ? ? ??其中，C表示代價(jià)，x表示樣本，y表示實(shí)際值，a表示輸出值，n表示樣本的總數(shù)。為簡(jiǎn)單起見(jiàn)，同樣一個(gè)樣本為例進(jìn)行說(shuō)明，此時(shí)二次代價(jià)函數(shù)為：
? ? ? ??目前訓(xùn)練ANN最有效的算法是反向傳播算法。簡(jiǎn)而言之，訓(xùn)練ANN就是通過(guò)反向傳播代價(jià)，以減少代價(jià)為導(dǎo)向，調(diào)整參數(shù)。參數(shù)主要有：神經(jīng)元之間的連接權(quán)重w，以及每個(gè)神經(jīng)元本身的偏置b。調(diào)參的方式是采用梯度下降算法（Gradient
descent），沿著梯度方向調(diào)整參數(shù)大小。w和b的梯度推導(dǎo)如下：
? ? ? ??其中，z表示神經(jīng)元的輸入，
表示激活函數(shù)。從以上公式可以看出，w和b的梯度跟激活函數(shù)的梯度成正比，激活函數(shù)的梯度越大，w和b的大小調(diào)整得越快，訓(xùn)練收斂得就越快。而神經(jīng)網(wǎng)絡(luò)常用的激活函數(shù)為sigmoid函數(shù)，該函數(shù)的曲線如下所示：
? ? ? ??如圖所示，實(shí)驗(yàn)2的初始輸出值（0.98）對(duì)應(yīng)的梯度明顯小于實(shí)驗(yàn)1的輸出值（0.82），因此實(shí)驗(yàn)2的參數(shù)梯度下降得比實(shí)驗(yàn)1慢。這就是初始的代價(jià)（誤差）越大，導(dǎo)致訓(xùn)練越慢的原因。與我們的期望不符，即：不能像人一樣，錯(cuò)誤越大，改正的幅度越大，從而學(xué)習(xí)得越快。
? ? ? ??可能有人會(huì)說(shuō)，那就選擇一個(gè)梯度不變化或變化不明顯的激活函數(shù)不就解決問(wèn)題了嗎？圖樣圖森破，那樣雖然簡(jiǎn)單粗暴地解決了這個(gè)問(wèn)題，但可能會(huì)引起其他更多更麻煩的問(wèn)題。而且，類(lèi)似sigmoid這樣的函數(shù)（比如tanh函數(shù)）有很多優(yōu)點(diǎn)，非常適合用來(lái)做激活函數(shù)，具體請(qǐng)自行g(shù)oogle之。
? ? ? ??換個(gè)思路，我們不換激活函數(shù)，而是換掉二次代價(jià)函數(shù)，改用交叉熵代價(jià)函數(shù)：
? ? ? ??其中，x表示樣本，n表示樣本的總數(shù)。那么，重新計(jì)算參數(shù)w的梯度：
? ? ? ??其中（具體證明見(jiàn)附錄）：
? ? ? ??因此，w的梯度公式中原來(lái)的
被消掉了；另外，該梯度公式中的
表示輸出值與實(shí)際值之間的誤差。所以，當(dāng)誤差越大，梯度就越大，參數(shù)w調(diào)整得越快，訓(xùn)練速度也就越快。同理可得，b的梯度為：
? ? ? ??實(shí)際情況證明，交叉熵代價(jià)函數(shù)帶來(lái)的訓(xùn)練效果往往比二次代價(jià)函數(shù)要好。
3. 交叉熵代價(jià)函數(shù)是如何產(chǎn)生的？
? ? ? ??以偏置b的梯度計(jì)算為例，推導(dǎo)出交叉熵代價(jià)函數(shù)：
? ? ? ??在第1小節(jié)中，由二次代價(jià)函數(shù)推導(dǎo)出來(lái)的b的梯度公式為：
? ? ? ??為了消掉該公式中的
，我們想找到一個(gè)代價(jià)函數(shù)使得：
? ? ? ??即：
? ? ? ??對(duì)兩側(cè)求積分，可得：
? ? ? ??而這就是前面介紹的交叉熵代價(jià)函數(shù)。
? ? ? ??sigmoid函數(shù)為：
? ? ? ??可證：
更系統(tǒng)的回答：
在之前的內(nèi)容中，我們用的損失函數(shù)都是平方差函數(shù)，即
C=12(a?y)2
其中y是我們期望的輸出，a為神經(jīng)元的實(shí)際輸出（a=σ(Wx+b)。也就是說(shuō)，當(dāng)神經(jīng)元的實(shí)際輸出與我們的期望輸出差距越大，代價(jià)就越高。想法非常的好，然而在實(shí)際應(yīng)用中，我們知道參數(shù)的修正是與?C?W和?C?b成正比的，而根據(jù)
?C?W=(a?y)σ′(a)xT?C?b=(a?y)σ′(a)
我們發(fā)現(xiàn)其中都有σ′(a)這一項(xiàng)。因?yàn)閟igmoid函數(shù)的性質(zhì)，導(dǎo)致σ′(z)在z取大部分值時(shí)會(huì)造成飽和現(xiàn)象，從而使得參數(shù)的更新速度非常慢，甚至?xí)斐呻x期望值越遠(yuǎn)，更新越慢的現(xiàn)象。那么怎么克服這個(gè)問(wèn)題呢？我們想到了交叉熵函數(shù)。我們知道，熵的計(jì)算公式是
H(y)=?∑iyilog(yi)
而在實(shí)際操作中，我們并不知道y的分布，只能對(duì)y的分布做一個(gè)估計(jì)，也就是算得的a值, 這樣我們就能夠得到用a來(lái)表示y的交叉熵
H(y,a)=?∑iyilog(ai)
如果有多個(gè)樣本，則整個(gè)樣本的平均交叉熵為
H(y,a)=?1n∑n∑iyi,nlog(ai,n)
其中n表示樣本編號(hào),i表示類(lèi)別編。 如果用于logistic分類(lèi)，則上式可以簡(jiǎn)化成
H(y,a)=?1n∑nylog(a)+(1?y)log(1?a)
與平方損失函數(shù)相比，交叉熵函數(shù)有個(gè)非常好的特質(zhì)，
H′=1n∑(an?yn)=1n∑(σ(zn)?yn)
可以看到其中沒(méi)有了σ′這一項(xiàng)，這樣一來(lái)也就不會(huì)受到飽和性的影響了。當(dāng)誤差大的時(shí)候，權(quán)重更新就快，當(dāng)誤差小的時(shí)候，權(quán)重的更新就慢。這是一個(gè)很好的性質(zhì)。
當(dāng)我們用sigmoid函數(shù)作為神經(jīng)元的激活函數(shù)時(shí)，最好使用交叉熵代價(jià)函數(shù)來(lái)替代方差代價(jià)函數(shù)，以避免訓(xùn)練過(guò)程太慢。
不過(guò)，你也許會(huì)問(wèn)，為什么是交叉熵函數(shù)？導(dǎo)數(shù)中不帶σ′(z)項(xiàng)的函數(shù)有無(wú)數(shù)種，怎么就想到用交叉熵函數(shù)？這自然是有來(lái)頭的，更深入的討論就不寫(xiě)了，少年請(qǐng)自行了解。
另外，交叉熵函數(shù)的形式是?[ylna+(1?y)ln(1?a)]而不是
?[alny+(1?a)ln(1?y)]，為什么？因?yàn)楫?dāng)期望輸出的y=0時(shí)，lny沒(méi)有意義；當(dāng)期望y=1時(shí)，ln(1-y)沒(méi)有意義。而因?yàn)閍是sigmoid函數(shù)的實(shí)際輸出，永遠(yuǎn)不會(huì)等于0或1，只會(huì)無(wú)限接近于0或者1，因此不存在這個(gè)問(wèn)題。
4.還要說(shuō)說(shuō)：log-likelihood cost
對(duì)數(shù)似然函數(shù)也常用來(lái)作為softmax回歸的代價(jià)函數(shù)，在上面的討論中，我們最后一層（也就是輸出）是通過(guò)sigmoid函數(shù)，因此采用了交叉熵代價(jià)函數(shù)。而深度學(xué)習(xí)中更普遍的做法是將softmax作為最后一層，此時(shí)常用的是代價(jià)函數(shù)是log-likelihood cost。
In fact, it’s useful to think of a softmax output layer with
log-likelihood cost as being quite similar to a sigmoid output layer
with cross-entropy cost。
其實(shí)這兩者是一致的，logistic回歸用的就是sigmoid函數(shù)，softmax回歸是logistic回歸的多類(lèi)別推廣。log-likelihood代價(jià)函數(shù)在二類(lèi)別時(shí)就可以化簡(jiǎn)為交叉熵代價(jià)函數(shù)的形式。
補(bǔ)充一個(gè)困擾我很久的問(wèn)題：
https://mp.weixin.qq.com/s?__biz=MzI1NTE4NTUwOQ==&mid=502840969&idx=1&sn=05b8d27dccf6efc3f85f47a74669e1c9#rd
總結(jié)：
softmax 損失函數(shù)，適合單標(biāo)簽多分類(lèi)問(wèn)題
歐式損失函數(shù)（就是均方誤差），適合實(shí)數(shù)值回歸問(wèn)題
sigmod 交叉熵，適合多標(biāo)簽分類(lèi)問(wèn)題，這里上面說(shuō)是主要用在二分類(lèi)，暫時(shí)理解為多標(biāo)簽二分類(lèi)問(wèn)題。
contrastive loss,適合深度測(cè)度學(xué)習(xí)，就是siamese網(wǎng)絡(luò)的相似度學(xué)習(xí)。
