
今天給大家分享一段我和小寧主編昨晚的對話>>
小寧:啥叫比特???
金勇:比特就是當你面臨二選一的時候,兩個可能性都一樣的時候,你的選擇成本呀。 二選一要用一比特,四選一就要兩比特呀。
小寧:四選一我知道了,吳老師說的32選一,我在心里算了下,確實需要問5次。但是有沒有辦法只問4次就得出答案?
金勇:沒有辦法的。 這可以用歸納法或者二叉樹去證明,就是5次詢問,5比特信息。
小寧:你這個樹形結(jié)構(gòu)、歸納法啥的,我看不懂,但我知道你的意思是說至少也要問5次從數(shù)學(xué)上可以證明。那這個簡單的32選一的問題怎么套用吳老師給出的公式呢?
金勇:恩, 如果說N種事情等可能,所要用的比特數(shù)就是 log以2為底的N。
小寧:哇,那這么算來,log以2為底32=5,也就是5比特,這是巧合嗎?信息論可以直接告訴我們最簡單的答案?。?/p>
金勇:這不是巧合,你先記住今天吳老師給出的拋物線圖,知道0.5,也就是一半對一半是錯,所帶來的不確定性是最大的,結(jié)合下一講的內(nèi)容,我會告訴你為什么不是巧合了。
(之前我在帶娃吃火鍋的某個周六,其實就是這樣被小寧主編引上的這條”賊船“)
其實這段對話既有故意的設(shè)計,也有我的深意。?
1.如果這件事情我真的懂了,我給小寧解釋起來是應(yīng)該是比較輕松的;
2.你可以時刻給自己找一個“小寧主編”,經(jīng)常問自己為什么、怎么來的,你會發(fā)現(xiàn)自己對某些知識的掌握程度是否扎實。
#金勇筆記# #知識解讀
結(jié)構(gòu)化票據(jù) (Structured Notes , Structured Product)
這是一個我今天才知道的金融學(xué)術(shù)語, 對我來說非常陌生。 但我發(fā)現(xiàn)它的組成部分我能看明白,通常由兩部分組成:
- 第一部分是固定收益產(chǎn)品, 比如債券(Debt);
- 另一部分是金融衍生品,比如期權(quán)(Call&Put);
所以這個產(chǎn)品也是一種投資組合的設(shè)計, 而且據(jù)我看到的文章顯示,這種金融產(chǎn)品其實就是”過度設(shè)計“的金融產(chǎn)物。 我希望你在投資的時候不要盲從,像芒格一樣──做個笨人,不投自己不懂的領(lǐng)域。不知道你對”上帝喜歡笨人“這個標題還有沒有印象,如果沒有印象,去搜索看看?
這里再提個小建議,我們組的算法同事其實為了讓大家更準確的搜索到感興趣、全信息的搜索,做了大量的無名工作。 得到app其實今年是個轉(zhuǎn)型之年,除了作為大家的課堂,她還可以是一處”知識引擎“,請你善加利用。
#金勇筆記#? #延伸閱讀
延伸一, 關(guān)于單位公制
我對世界上通用的物理量公制有些好奇,有個網(wǎng)站介紹: http://www.us-metric.org/commonly-used-metric-system-units-symbols-and-prefixes/? ? ?
我想到一個有意思的問題,除了比特這個單位,還有哪些物理量的計算涉及到對數(shù)運算?
延伸二, 有同學(xué)和我要香農(nóng)論文《通訊中的數(shù)學(xué)原理》的地址
http://math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf
#金勇筆記# #前期回顧
我很擔心同學(xué)把問題藏著掖著,耽誤之后的理解。于是我跟小寧決定保留一個環(huán)節(jié)是答疑之前模塊的部分:
問題:有同學(xué)問第一講中的”三比特信息“是什么意思?
回答: 三個故事,每個故事都用歸到一比特的信息,所以最后是三個故事三比特。
問題: 請解釋”如果一種情況發(fā)生的可能性大,另一種發(fā)生的可能性小,所需要的信息就不到1比特”
回答: 如果一種情況發(fā)生的概率是p,那么另一種情況發(fā)生的概率是 1-p, 此時所要消耗的比特大小是:
-p * Log p - (1-p) * Log (1-p)
(空一行便于查看)
這個函數(shù)中p的范圍是0至1, 它的最高點就是對應(yīng)于 p=0.5, 如果p取0.01, 結(jié)果就是0.08 比特
問題:此時面對著一種情況0.01的概率,而另一種情況是0.99,那我消除了多少不確定性?
回答: 在信息論的后期會提到熵的計算公式, 還有熵增(entropy gain)的概念。 所謂的消除不確定性,是指當我獲取了這個新知后給整個系統(tǒng)的熵是否帶來了更大的熵增。
在這里, 一種情況特別極端(99%)另一種1%,如果這種現(xiàn)象為真,說明我接下來要考慮的很大概率上就是要去分析這99%了, 它給我?guī)淼挠小靶轮钡氖斋@是很小的。
打個比方,你在上高中時來了一個同桌,他和你的所有知識體系有99%是高重合的,只有1%不一樣。那這個知道你要從他身上學(xué)習(xí)到的新知+他從你身上學(xué)習(xí)就不會太多。 如果他有50%是你不知道的, 這種“你學(xué)習(xí)他的知識+他學(xué)習(xí)你的知識”所產(chǎn)生的新系統(tǒng)變化是最大的。