? ? 工業(yè)時(shí)代我們習(xí)慣了牛頓的思維模式，一切都是確定性的、可測(cè)量的、可觀測(cè)的、可預(yù)測(cè)的，當(dāng)然牛頓世界觀改變了我們的生活，對(duì)于我們還是至關(guān)重要的，但是你有沒(méi)有發(fā)現(xiàn)呢現(xiàn)在好多事物都是不確定性的。比如股市的此起彼伏，不管多么重量級(jí)的人去預(yù)測(cè)總有很多的失誤很大的不確定性。面對(duì)這個(gè)不確定性的世界我們?cè)撊绾螒?yīng)對(duì)呢？下面給大家介紹下香農(nóng)的信息論，從信息的角度來(lái)理解不確定性。

1.如何度量信息

? ? 香農(nóng)把信息和世界的不確定性（無(wú)序狀態(tài)）聯(lián)系到了一起，稱作信息熵，可以用來(lái)度量信息。熵用來(lái)描述一個(gè)系統(tǒng)中趨向于恒溫的程度，當(dāng)這個(gè)系統(tǒng)完全達(dá)到恒溫時(shí)就無(wú)法做功了，這時(shí)熵最大。

? ? 那么可以用信息來(lái)消除這種不確定性嗎？玻爾茲曼給我們介紹了一種方法論，把熵（宏觀特性）和封閉系統(tǒng)的無(wú)序狀態(tài)（每一個(gè)分子的微觀特性u(píng)）聯(lián)系起來(lái)。E＝Klog (u)

信息論是建立在不確定性基礎(chǔ)上，要消除不確定性就要引入信息。用不確定性眼光看世界，再用信息消除不確定性。

2.對(duì)具有相關(guān)性的信息又該如何度量呢

? ? ? 互信息這個(gè)概念實(shí)現(xiàn)了對(duì)相關(guān)性的量化度量，相關(guān)性。

3.香農(nóng)的兩個(gè)定律

? ? 兩個(gè)相關(guān)信息處理和通信的最基本的規(guī)律即香農(nóng)第一定理。對(duì)于信源發(fā)出的所有信息設(shè)計(jì)一種編碼，那么編碼的平均長(zhǎng)度一定大于該信源的信息熵，但一定存在一種編碼方式(最優(yōu)的)使得編碼的平均長(zhǎng)度無(wú)限接近于它的信息熵(不確定性)。比如說(shuō)給漢字編碼，怎么做到最優(yōu)化呢？霍夫曼給了一個(gè)非常簡(jiǎn)單的方法－只要把只要把最短的編碼分配給最常見(jiàn)的漢字即可。與經(jīng)濟(jì)學(xué)上的吉爾德定律即盡量多地采用便宜的資源，盡可能節(jié)省貴的資源，本質(zhì)上是相同的。摩爾定律使得計(jì)算機(jī)越來(lái)越便宜，人力成本越來(lái)越貴，用機(jī)器替代人力就是很好的例子。

? ? 香農(nóng)第二定律即信息的傳播速率不可能超過(guò)信道的容量。比如互聯(lián)網(wǎng)發(fā)展的各個(gè)階段實(shí)際上是建立在不斷拓寬帶寬的基礎(chǔ)之上的。早期使用電話調(diào)制解調(diào)器，到使用DSL（數(shù)字用戶線路）再到后來(lái)使用寬帶電纜，最后光纖都是圍繞著不斷增加信道容量而進(jìn)行的。如人脈就是人與人交往的寬帶，人脈越多發(fā)出的信息和獲得的信息越多，生意做的也就越大。

? ? 信息時(shí)代的香農(nóng)定律就相當(dāng)于工業(yè)時(shí)代的牛頓定律，用不確定性來(lái)看待世界，再永信息來(lái)消除這種不確定性。

4.最大熵原理

? ? ? 最大熵原理即當(dāng)我們要對(duì)未知事件尋找一個(gè)概率模型時(shí)，這個(gè)模型應(yīng)當(dāng)滿足我們所有已經(jīng)看到的數(shù)據(jù)，但對(duì)未知的情況不要做任何主觀假設(shè)。被廣泛用于機(jī)器學(xué)習(xí)。已經(jīng)不同于“大膽假設(shè)、小心求證”的方法論，因?yàn)樗蟛灰胫饔^的假設(shè)。不做主觀假設(shè)的前提是取得了足夠多的數(shù)據(jù)，否則最大熵模型只能給出一些平均值而已，而不能對(duì)任何細(xì)節(jié)進(jìn)行描述和預(yù)測(cè)。

? ? 人最難改變的就是人的思維模式，但是我們已經(jīng)無(wú)法選擇了，必須接受這個(gè)世界。學(xué)會(huì)用不確定性來(lái)看待這個(gè)世界，用概率思維來(lái)看待這個(gè)世界，用自己盡可能多的信息來(lái)消除不確定性。希望能對(duì)你有用，有啟發(fā)。