熵

熵

又稱自信息，描述一個(gè)隨機(jī)變量的不確定性的數(shù)量。
H(X)=-\sum_{x \in R}p(x)\log_{2}p(x)

聯(lián)合熵

一對隨機(jī)變量平均所需要的信息量。
H(X,Y)=-\sum_{x \in X}\sum_{y \in Y}p(x,y)\log p(x,y)

條件熵

給定隨機(jī)變量X的條件下，隨機(jī)變量Y的條件熵。
H(Y|X)=-\sum_{x \in X}\sum_{y \in Y}p(x,y)\log p(y|x)
H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)

互信息

知道了Y的值以后X的不確定性的減少量。
I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)

相對熵

又稱KL距離，衡量相同事件空間里兩個(gè)概率分布相對差距的測度。
D(p||q)=\sum_{x \in X}p(x)\log \frac{p(x)}{q(x)}

交叉熵

衡量估計(jì)模型與真實(shí)概率分布之間差異情況。
H(X,q)=H(X)+D(p||q)=E_{p}(\log \frac{1}{q(x)})

困惑度

代替交叉熵衡量語言模型的好壞。
PP_{q}=2^{H(L,q)}\approx [q(l_{1}^{n})]^{-\frac {1}{n}}

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容