今天這部分主要講信息系統(tǒng)的一些基本概念，主要有信息熵、互信息、相對熵。其實含義很簡單，分別表示信息的復雜度，他們的相關性，不同函數(shù)之間的相關性幾個概念，對應還有相關的公式。

按霍金老先生的說法，每增加一條公式，就減少一半的讀者。就不一一羅列了。

重點是，看似很高大上的幾個概念，他們如何用于實踐的？

相對熵用于判斷論文是否抄襲?；バ畔⒂糜诮鉀Q自然語言識別中的字詞二義性問題。信息熵則可以衡量比較一組信息的復雜度。

一旦將枯燥數(shù)學概念和具體有趣的問題相聯(lián)系，興趣和好奇心也就自然有了。

圖片發(fā)自簡書App

圖片發(fā)自簡書App