欧美日韩色图视频播放,操人视频在线观看91

dt_cover.png

信息熵公式的推導(dǎo)

學(xué)過概率后,如果兩個(gè)事件 x 和 y 是獨(dú)立，這個(gè)應(yīng)該不難理解 $P(x,y) = P(x) \cdot P(y)$
首先我們已經(jīng)知道了信息熵和概率關(guān)系是成反比，也就是說概率越大信息熵越小，這個(gè)應(yīng)該也不難理解，如果一個(gè)一定會(huì)發(fā)生事，例如太陽從東方升起，這個(gè)事件給我們帶來信息量非常小

dt_05.jpeg

我們知道 $\ln x$ 函數(shù)模樣如下圖， $\ln x$ 是一個(gè)增函數(shù)

lnx

如果對函數(shù)添加負(fù)號(hào)就變成減函數(shù)，而且在 0 - 1 區(qū)間函數(shù)值符號(hào)我們要求就是在 1 時(shí)函數(shù)值為 0 而接近 0 時(shí)為無窮大

-lnx

然后我們進(jìn)步想象一下如果希望兩個(gè)事件的信息量也是可以做加減
$H(y|x) = H(x,y) - H(x)$

而且 $\ln$ 本質(zhì)還可將乘法變成加法，這符合我們對熵表達(dá)

X	0	1
概率	1 - p	p
信息量	-ln (1 - p)	-ln p
期望

大家都知道信息熵很大事件并不是大概率事件，所有我們根據(jù)期望公式對 logP 求期望就得
信息熵的概念
$E(\log P) = -(1 - p) \cdot \ln(1 - p) - p \cdot \ln p$
$E(\log P) = - \sum_{i=1}^n P_i \log P_i$
上面離散情況下求信息熵
$H(X) \approx \int_0^{f(x)} \log f(x) dx$

條件熵公式的推導(dǎo)

我們知道x 和 y 的熵，也知道 x 的熵
如果我們用 H(x,y) 減去 H(x) 的熵，那么就等價(jià)了 x 是確定性
也就是在已知 x 的條件下計(jì)算 y 的熵，這就是條件熵的概念
$H(X,Y) - H(X)$

在 x 給定掉件 y 的信息熵，(x,y) 發(fā)生所包含的熵，減去 X 單獨(dú)發(fā)生包含的熵:在 x 發(fā)生的前提下, y 發(fā)生新帶來的熵。
$H(Y|X) = H(X,Y) - H(X)$
下面我們來推導(dǎo)一下條件熵

$= - \sum_{x,y} p(x,y) \log p(x,y) + \sum_{x} p(x) \log p(x)$
公式中 $p(x)$ 可以寫出 $\sum_y p(x,y)$ 把所有的 y 加起來,進(jìn)行積分去掉 y
$= - \sum_{x,y} p(x,y) \log p(x,y) + \sum_{x} (\sum_y p(x,y)) \log p(x)$
$= - \sum_{x,y} p(x,y) \log p(x,y) + \sum_{x,y} p(x,y) \log p(x)$

$= - \sum_{x,y} p(x,y) \log p(x,y) + \sum_{x,y} p(x,y) p(x)$

$= - \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)}$
那么我們利用學(xué)過概率就知道 $\frac{p(x,y)}{p(x)} = p(y|x)$