冗余度壓縮與模式識(shí)別——繼續(xù)聊一聊關(guān)于信息的存儲(chǔ)

說(shuō)明:本文原創(chuàng)首發(fā)于本人的公眾號(hào)cyn_notes,簡(jiǎn)書(shū)為備份。

我曾經(jīng)在早先的一篇文章從任務(wù)處理與記憶方式,淺談人與計(jì)算機(jī)的相似中,提到過(guò)人腦壓縮處理記憶,主要來(lái)源于經(jīng)驗(yàn)。正巧最近看到相關(guān)的理論,就再來(lái)聊一聊。

image

這是關(guān)于冗余度壓縮和模式識(shí)別的理論,由英國(guó)皇家學(xué)會(huì)會(huì)員霍勒斯·巴洛(Horace Barlow)在1961年發(fā)表的兩篇論文中提及。而巴洛先生本人,則是大名鼎鼎的達(dá)爾文爵士的外孫。對(duì),就是那個(gè)提出自然選擇學(xué)說(shuō)的霍勒斯·達(dá)爾文(Horace Darwin).

關(guān)于大腦是如何記憶和回想起一個(gè)個(gè)概念,在神經(jīng)生物學(xué)理論中有這么一種假設(shè):人腦中存在一個(gè)或一組神經(jīng)細(xì)胞,當(dāng)某些特定的概念如你的祖母頭像出現(xiàn)時(shí),這個(gè)或這組細(xì)胞就會(huì)激活。這被美國(guó)神經(jīng)學(xué)家杰羅姆·萊特文在二十世紀(jì)六十年代命名為祖母細(xì)胞理論。可是,如果是這樣的話,特定識(shí)別的神經(jīng)細(xì)胞數(shù)量將是十分龐大的。試想一下,我們?nèi)粘I钪袝?huì)見(jiàn)到眾多其他人的臉龐、物體、文字、花朵,并且每一個(gè)都能從眾多的角度和距離見(jiàn)到。

霍勒斯·巴洛提出了運(yùn)用冗余度壓縮的原理,來(lái)解釋這個(gè)問(wèn)題。

信息論的創(chuàng)始人克勞德·香農(nóng)(Claude Shannon)則提到,任何信息都存在冗余,冗余大小與信息中每個(gè)符合(數(shù)字、字母或單詞)的出現(xiàn)概率或者說(shuō)不確定性有關(guān)。比如,在英語(yǔ)里,緊隨“q”這個(gè)字母的往往是“u”?!皍”就可以被稱為是冗余的。因此可以更加簡(jiǎn)潔地記錄信息但不丟失信息。巴洛認(rèn)為,在感覺(jué)傳導(dǎo)路徑的每個(gè)階段中,都存在若干調(diào)整機(jī)制,以此來(lái)清除大量的冗余度。

這里來(lái)談?wù)勛约旱闹饔^體驗(yàn)?,F(xiàn)實(shí)生活中眼前看到的一切都是清晰的,而當(dāng)我們從記憶中回想的時(shí)候,是不是覺(jué)得灰蒙蒙的,似乎蒙上了一層霧氣?于是我就猜想,這或許是清除了冗余信息之后,再進(jìn)行的存儲(chǔ)所帶來(lái)的“副作用”。

在計(jì)算機(jī)領(lǐng)域里,我們談到模式識(shí)別,主要是對(duì)已知數(shù)據(jù)樣本的特征發(fā)現(xiàn)和提取。那么我想,這也是忽略了已知數(shù)據(jù)中除特征之外的大量“冗余”信息吧。

以上,基于最近讀到的理論和主觀的感受,繼續(xù)聊了這個(gè)話題。如有疏漏,歡迎留言指正。

公眾號(hào)原文鏈接:http://mp.weixin.qq.com/s?__biz=MzAwNDU0MTU1Ng==&mid=306396997&idx=1&sn=54a94d4adfc977c7b3f2e5d41d215067&chksm=0c9dc25e3bea4b48d3174e745d3064e8781b9ecc3ccba40d7fa9bae7d904cf146cad86155468#rd

有興趣也可以關(guān)注我的公眾號(hào):cyn_notes


Cynthia晶姐
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容