15.信息論

物理世界是由信息和能量組成的。

宇宙爆炸,信息和能量一同出現(xiàn)

世界上任何一種物質(zhì)都可以用信息量化。

能量守恒,單信息不守恒

能量守恒定律是自然界普遍的基本定律之一。

一般表述為:

  • 能量既不會(huì)憑空產(chǎn)生,也不會(huì)憑空消失,

  • 它只會(huì)從一種形式轉(zhuǎn)化為另一種形式,

  • 或者從一個(gè)物體轉(zhuǎn)移到其它物體,而能量的總量保持不變。

  • 也可以表述為:一個(gè)系統(tǒng)的總能量的改變只能等于傳入或者傳出該系統(tǒng)的能量的多少。

人類之間分享知識(shí)是一件可以為這個(gè)世界創(chuàng)造純粹增量事情

  • E = MC2

  • 愛因斯坦

能量=物質(zhì)*光速2

能量和物質(zhì)是相通的,

  • 香農(nóng)定律

  • [圖片上傳失敗...(image-d52aec-1651147581764)]

  • 式中,C 代表信道也就是傳輸通道可傳送的最大信息速率,簡稱為信道容量;

  • B 代表信道也就是傳輸通道的帶寬;S/N 代表接收信號(hào)的信噪比;lb代表以2為底的對(duì)數(shù)。

  • 香農(nóng)公式有其成立條件,基于AWGN信道,即加性白高斯噪聲信道。

  • 所謂加性白高斯噪聲,是指信道的噪聲在頻譜上均勻分布,幅度上呈正態(tài)分布。

信息熵 information entropy

image.png

無效的信息

  • 模棱兩可

  • 平均用力

信息量 Amount of information

  • 比特 bite

霍夫曼編碼 Huffman Coding

image.png

奧卡姆剃刀 Occam's Razor

  • 如無必要,勿增實(shí)體

人生指導(dǎo)

  • 大刀闊斧做減法

  • 圍繞關(guān)鍵領(lǐng)域飽和配置資源

幀間壓縮算法

image.png
  • 關(guān)注變化

  • 忽略重復(fù)

  • 可以使我們的學(xué)習(xí)效率提升N倍

  • 集中精力夯實(shí)基礎(chǔ)知識(shí)

  • 只關(guān)注新知識(shí)的增量

互信息 Mutual information

相關(guān)性 ≠ 因果性

image.png

相關(guān)性:生活是錯(cuò)綜復(fù)雜的,而記憶是主觀的

  • 改革開放后,一批成功的企業(yè)家

    • 成功

      • 個(gè)人奮斗 vs 國家經(jīng)濟(jì)發(fā)展背景
  • b站賬號(hào)

    • 標(biāo)簽

      • 經(jīng)??唇∩?美食 軍事

      • 可能是自己 也可能是表弟進(jìn)去看的

信息等價(jià)

  • 商品盒子上的照片,說明盒子里面的商品

  • 今天天氣很好,藍(lán)天白云,風(fēng)和日麗,陽光明媚

冗余度 redundancy

  • 工程領(lǐng)域 保證系統(tǒng)運(yùn)作安全

    • 服務(wù)器,電源

    • 飛機(jī)雙引擎

    • 騎車備胎

    • 比特幣記賬模式

  • 在表達(dá)上 更好服務(wù)于人類的認(rèn)知習(xí)慣

    • 標(biāo)點(diǎn)符號(hào)

時(shí)代進(jìn)步,人類接受的冗余度也在減少,接受高密度信息

  • yyds 永遠(yuǎn)滴神

  • xswl 笑死我了

  • zqsg 真情實(shí)感

  • nbcs nobody cares

減少冗余度

  • 畫分析框架

    • 三步法

    • 先把關(guān)鍵概念零散的列出來

    • 尋找概念卡片之間的關(guān)聯(lián)

      • 分類

      • 鏈接

      • 去掉信息等價(jià)的卡片

    • 套用和矯正

  • 海森堡 不確定性原理(Uncertainty principle)

  • [圖片上傳失敗...(image-5696f9-1651147581764)]

  • 量子力學(xué) - 科學(xué)的邊界

  • 我們的觀察改變了客觀世界

  • 客觀世界和主觀世界之間的結(jié)合

粒子的位置與動(dòng)量不可同時(shí)被確定,位置的不確定性與動(dòng)量的不確定性遵守不等式,h 是普朗克常數(shù)。

越精確地知道位置,則越不精確地知道動(dòng)量,反之亦然。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容