今天復(fù)習(xí)了信息論與最大熵那一塊，信息熵作為一個信息的度量，表示事件的不確定性；人類在生產(chǎn)實踐的時候就是不斷地降低目標(biāo)事件的不確定性，通過先驗概率求后驗概率，我們需要尋找降低不確定線性的最大信息熵，同時增加目標(biāo)事件發(fā)生的確定性。

需要理解的概念有：

1.條件熵 ?? 2.互信息? 3. 相對熵 ? 4. 交叉熵

理解這一塊要好好復(fù)習(xí)概率分布那塊的知識，對于后面的決策樹的學(xué)習(xí)有幫助。

《機器學(xué)習(xí)實戰(zhàn)》看到的關(guān)于機器學(xué)習(xí)的理解：

機器學(xué)習(xí)即把無序的數(shù)據(jù)轉(zhuǎn)換成有用的信息。