關(guān)于交叉熵在loss函數(shù)中使用的理解

https://blog.csdn.net/tsyccnh/article/details/79163834

神經(jīng)網(wǎng)絡(luò)基本構(gòu)架

交叉熵?fù)p失函數(shù)

交叉熵?fù)p失函數(shù)一般用于分類任務(wù)：

softmax函數(shù)

詳解softmax函數(shù)以及相關(guān)求導(dǎo)過(guò)程

https://zhuanlan.zhihu.com/p/25723112

softmax用于多分類過(guò)程中，它將多個(gè)神經(jīng)元的輸出，映射到（0,1）區(qū)間內(nèi)，可以看成概率來(lái)理解，從而來(lái)進(jìn)行多分類！

交叉熵函數(shù)

為什么使用交叉熵?fù)p失函數(shù)

交叉熵代價(jià)函數(shù)（作用及公式推導(dǎo)）?

https://blog.csdn.net/u014313009/article/details/51043064

實(shí)際情況證明，交叉熵代價(jià)函數(shù)帶來(lái)的訓(xùn)練效果往往比二次代價(jià)函數(shù)要好。

小結(jié)

（1）分類問(wèn)題的目標(biāo)函數(shù)中：交叉熵?fù)p失函數(shù)是最為常用的分類目標(biāo)函數(shù)，且效果一般優(yōu)于合頁(yè)損失函數(shù)；大間隔損失函數(shù)和中心損失函數(shù)從增大類間距離、減小類內(nèi)距離的角度不僅要求分類準(zhǔn)確，而且還有助提高特征的分辨能力；坡道損失函數(shù)是分類問(wèn)題目標(biāo)函數(shù)中的一類非凸損失函數(shù)，由于其良好的抗噪特性，推薦將其用于樣本噪聲或離群點(diǎn)較多的分類任務(wù)；

（2）回歸問(wèn)題的目標(biāo)函數(shù)中：l1損失函數(shù)和l2損失函數(shù)是常用的回歸任務(wù)目標(biāo)函數(shù)，實(shí)際使用l2略優(yōu)于l1；Tukey‘s biweight損失函數(shù)為回歸問(wèn)題中的一類非凸損失函數(shù)，同樣具有良好的抗噪能力；

（3）在一些如年齡識(shí)別，頭部角度姿態(tài)識(shí)別等樣本標(biāo)記不確定性的特殊應(yīng)用場(chǎng)景下，基于標(biāo)記分布（label distribution）的損失函數(shù)是比較好的選擇。