交叉熵函數(shù)cross_entropy()是Shannon信息論中一個重要概念，主要用于度量兩個概率分布間的差異性信息。在信息論中，交叉熵用于度量兩個概率分布p,q的相似性，其中p表示真實分布，q表示非真實分布；
深度學習中的交叉熵函數(shù)
其輸入是One-hot編碼的標簽和Softmax函數(shù)的輸出S(Y)。線性層FC的輸出為y,即logit。
x > y > softmax(y) -> cross_entropy(softmax(y), one-hot labels)
cross_entropy函數(shù)
cross_entropy函數(shù)使用范例
Binary Cross-Entropy: Cross-entropy 作為二分類任務的損失函數(shù)
Categorical Cross-Entropy: Cross-entropy 作為多分類任務的損失函數(shù)
在交叉熵使用實踐中：如果平均交叉熵小于0.2，那么是一個良好的開端；小于0.1或0.05甚至更好?？梢詫⑵骄膘氐倪@些直覺總結如下：
- 交叉熵= 0.00：完美匹配。
- 交叉熵<0.02：相當不錯。
- 交叉熵<0.05：在正確的軌道上。
- 交叉熵<0.20：很好。
- 交叉熵> 0.30：不好。
- 交叉熵> 1.??00：太糟糕了。
- 交叉熵> 2.00：東西壞了
