信息熵
??熵是接收的每條消息中包含的信息的平均量，被稱為信息熵、信源熵、平均自信息量，為不確定性的量度。簡(jiǎn)而言之，越是確定的事，信息熵小，而越不確定的事信息熵越大。
??隨機(jī)變量
的熵值
定義如下，
??%20%3D%20-%5Csum_%7Bi%7DP(x_%7Bi%7D)log_%7Bb%7DP(x_%7Bi%7D))
信息增益
??信息增益是指在原信息的基礎(chǔ)上，知道新信息的條件下，信息確定性的提高。例如，一個(gè)人學(xué)習(xí)能力強(qiáng)不強(qiáng)的信息熵為
，而一個(gè)人自律性強(qiáng)不強(qiáng)的信息熵為
，則自律性對(duì)學(xué)習(xí)能力的增益為
，理解為在知道自律性的情況下，對(duì)于一個(gè)人學(xué)習(xí)能力的判斷更加準(zhǔn)確，也就是信息熵的減?。兌仍礁撸?。
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。
