信息熵+交叉熵+KL散度

熵的本質是香農信息量log\frac{1}{p} ，被用于描述一個系統(tǒng)中的不確定性。

在決策樹算法中的信息熵:H(P) = -\sum_{i=1}^np_{i} logp_{i}

在反向傳播算法中衡量兩個分布p和q差異的交叉熵：? ? ?H(p,q )=-\sum_{i}^n p logq

KL散度(相對熵)： D_{KL}(p∣∣q)=H(p,q)?H(p)= \sum_{i}^n [p_{i}logp_{i} - p_{i}logq_{i}]

最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發(fā)布，文章內容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內容

友情鏈接更多精彩內容