概率和熵的關(guān)系

ABCD四個(gè)選項(xiàng)，不知道正確選項(xiàng)時(shí)的熵：

\frac{1}{4} \log_2 \ 4 +\frac{1}{4} \log_2 \ 4+\frac{1}{4} \log_2 \ 4 +\frac{1}{4} \log_2 \ 4 = 2

知道C有一半正確可能性時(shí)的熵：

\frac{1}{6} \log_2 \ 6 +\frac{1}{6} \log_2 \ 6+\frac{1}{2} \log_2 \ 2 +\frac{1}{6} \log_2 \ 6 = 1.79

獲得額外信息導(dǎo)致單個(gè)事件的概率發(fā)生變化，最終表現(xiàn)為整體事件的熵（不確定性）降低

三門問題：三道門的其中一道里有大獎(jiǎng)，你選了A門，然后主持人打開B門后發(fā)現(xiàn)是空的，要不要改選C門？

原系統(tǒng)的熵：

\frac{1}{3} \log_2 3 +\frac{1}{3} \log_2 3+\frac{1}{3} \log_2 3=1.585

主持人不知道B門后是空的：

P(A|\bar {B} ) = \frac{1\times \frac{1}{3} }{1\times \frac{1}{3} +\frac{1}{2} \times \frac{2}{3}} =\frac{1}{2}

\frac{1}{2} \log_2 2 +\frac{1}{2} \log_2 2 =1

主持人知道B門后是空的：

P(A|\bar{B} ) = \frac{1\times \frac{1}{3} }{1\times \frac{1}{3} +1\times \frac{2}{3}} =\frac{1}{3}

\frac{1}{3}\log_2 3+\frac{2}{3}\log_2 1.5= 0.918

（貝葉斯公式：P(A|\bar{B} ) = \frac{P(B|\bar {A} )P(A) }{P(B|\bar{A} )P(A) +P(\bar{B}|\bar {A} )P(\bar{A} )} ）

主持人知道B門后是空的這個(gè)信息，導(dǎo)致了A、C門后有獎(jiǎng)概率的變化，并降低了系統(tǒng)的熵

主持人不知道B門后是空的，相當(dāng)于直接排除“B有”，信息量0.585（圖1）

主持人知道B門后是空的，相當(dāng)于在“A無(wú)”的基礎(chǔ)上排除“B有”，信息量0.667（圖2）

二者的區(qū)別在于，當(dāng)主持人知道B門（或C門）后為空時(shí)，他就不可能打開一扇有東西的門，而在圖1中，主持人打開的B門可能不是空的，所以在第二種情況中，系統(tǒng)為答題者提供了更多的信息


圖1
圖2

更具體來說，圖1相當(dāng)于答題者對(duì)系統(tǒng)說：幫我隨便排除B、C中的一項(xiàng)，哪怕后面有東西我也認(rèn)

而圖2相當(dāng)于答題者對(duì)系統(tǒng)說：幫我排除B、C中為空的一項(xiàng)

顯然圖2的信息量更大

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容