萬維鋼《一個基于信息論的人生觀》筆記

一,信息與冗余

看看下面這兩句話:

1星期天不上班。

2介太太氕與錨。

從信息量看,更多人都會覺得第一句的信息量更大,第二句不知道在說什么。但萬維鋼說其實是第二句的信息量更大。第一句不過是看起來更有意義些。

比如你把第一句變成:

星__天不__班。是不是還是能猜到空白的是什么字。這句話其實是“可壓縮”的。但第二段拿掉任何一個字你都不能猜到。因為它是“不可壓縮”的。

萬維鋼在原文中的第二段話是隨便打了段亂碼,但為了幫助大家更好的理解,我特意把第二段話換了,把原文進行了漢字的凱撒移數(shù)一位。原文是:今天天氣不錯。

怎么加工的呢?比如漢字“一”對應(yīng)的unicode編碼是0x4e00,凱撒移位為1的話0x4e00+1=0x4e01,對應(yīng)的漢字就是“丁”

把今天天氣不錯進行unicode轉(zhuǎn)換是

20170 22825 22825 27668 19981 38169

凱撒移位1的話就變成

20171 22826 22826 27669 19982 38170

然后再用unicode翻譯過來就是

介太太氕與錨

怎么樣,現(xiàn)在再看看上面兩句話是不是更能理解為什么第二句話的信息量更大了。

二,香農(nóng)的洞見

一個信息的信息量大小,在于他克服了多少不確定性。

前面第一個句子,有些字即便空白了,我們也能猜到它原來的意思。這就意味著它們提供的信息就比較少。

像:今天我要到田里干__,我不說你大概也能猜到是活字。因為漢子中干字開頭的詞不多,干活,干事,干仗,就那幾個。你很簡單就能猜到,所以“活”這個字提供的信息量很少。

再比如要你幫我跟蹤一個人,實時匯報他的位置。如果這個人生活非常規(guī)律,平常就在家,公司,餐館這三個地方出現(xiàn),你每次告訴我的無非也是這三個。哪怕你不告訴我,我也有三分之一的把握猜到。所以你給我的信息價值并不是很大。

但如果他今天在哈爾濱,明天在菲律賓。全世界到處跑,我猜不到他在哪,這時候你給我的信息價值就非常大了。你的信息出來前,他的位置對我而言就是一種不確定性。你的信息克服了這種不確定性,原來的不確定性越大,你的信息就越有價值。

3信息熵

萬維鋼在文中用對數(shù)函數(shù)和加權(quán)平均解釋了信息的計算公式。并舉了幾個扔硬幣的例子計算。鑒于過程太復(fù)雜,我就簡單摘錄這一段的精華:

在物理學(xué)上,熵描寫的是一個系統(tǒng)的混亂程度,信息熵也是如此。越是看上去雜亂無章的信息,信息熵越高,它的信息含量就越高。也就是說,可供選擇的范圍越廣,選擇的信息量也就越大。

4壓縮能使信息量最大化

比如古代用的文言文,就是如此,特別省竹簡。我們現(xiàn)在所處的信息社會也是如此,我們之所以能在電腦上聽音樂看電影,就是因為有了壓縮算法。壓縮算法都用到了香農(nóng)的觀念。

那我們平常說話為什么不盡量壓縮,要容忍那么大的語言冗度呢?作者說主要原因是有噪聲。我認為除開這一點之外,有時候我們交流只是為了傳達一個簡單的信息,如果每個信息的信息量都太大,存在太多可能性,反而失去了效率。

5香農(nóng)的第二個洞見

克服噪聲的正確方法,是增加信息的冗余度。

比如以前的電臺,一段代碼傳送的過程中,噪聲可能把“0”變成了“1”。剛開始大家的想法是把信號放大,讓信號的強度超過噪聲。

但這陷入了一個囚徒困境,如果每條通訊都扯著嗓子喊,聲音越來越大了,互相的干擾也越嚴重,噪聲也當然變得越大。而香農(nóng)的做法明顯有效的多。

舉個例子,比如ABCD分別對應(yīng)00,01,10,11。我想傳播一個A,但信息在傳播的過程中可能會把“0”變成了“1”,最終你收到的就很有可能變成了BCD了。

但如果增加它的冗余度,讓ABCD分別對應(yīng)000000,000111,111000,111111。這時候即便是在傳播的過程出了錯,你收到的是000001,你也能立馬猜到我傳播的是A。

6可預(yù)測性和不可預(yù)測性

信息的本質(zhì)是克服了多少不確定性,也就是不可預(yù)測,而冗余的本質(zhì)恰恰是提高可預(yù)測性。

從信息論的角度,我們的人生面臨一個矛盾。一方面希望自己過得有效率,給世界留下更多信息,另一方面又不得不跟人好好交流,增加冗余度。

萬維鋼說既要有創(chuàng)造性,又要可預(yù)測,這才是合理的信息輸出。然后他提出了一個新穎的角度:

從信息論的角度上看,看書的速度并不是由你眼球轉(zhuǎn)動的速度決定的,而是取決于你對你所讀的領(lǐng)域了解多少。因此他說出了閱讀的過程就是讀者與作者的較量,看作者能使出多少手段讓讀者猜不到他下一步想講什么。

接著他又給了一個學(xué)習(xí)積累的角度:減少世界給自己的不確定性。新人看啥都覺新鮮,老手看哪都是俗套。因為只有這樣,才能從一大堆可預(yù)測的事物中抓到那些不尋常之處,那才是真正有價值的信息。

我把這句話再稍微解讀一下,就是盡量找到事物發(fā)生背后的基本原理,框架或模型。

然后對于做事,他給出的方法是增加自己的不確定性,信息就是意外。出事出乎意料,才值得被記住。

但是不能因為要做出乎意料的事就選擇做壞事。他說我們的生活除了信息論的緯度,還有各種衡量的緯度,比如好與壞。一個不負責(zé)任的醫(yī)生違反操作規(guī)程把人醫(yī)死了,這是值得被記錄的,但卻不是一件好事。

最后他給出了一個很好的結(jié)尾,引用了《辛德勒的名單》中的一句話:什么叫做權(quán)利呢?“權(quán)利是我們有充分的理由去殺一個人,但是我們不殺”。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容