讀書|《數(shù)據(jù)統(tǒng)治世界》:像數(shù)據(jù)科學(xué)家一樣思考

Numbers Rule Your World

我們生活在一個(gè)數(shù)字化的時(shí)代。工程師如何計(jì)算您的生活質(zhì)量,企業(yè)如何確定您的需求,政治家如何預(yù)測(cè)您的意見。這些數(shù)字你從來沒有想過,即使它們?cè)谀闵畹拿恳粋€(gè)方面發(fā)揮關(guān)鍵作用。

美國紐約大學(xué)統(tǒng)計(jì)學(xué)教授馮啟思(Kaiser Fung)所著《數(shù)據(jù)統(tǒng)治世界》一書,雖然副標(biāo)題是“The hidden influence of probability and statistics on everything you do”(譯者曲玉彬?qū)⒋俗g為:如何在數(shù)據(jù)統(tǒng)計(jì)中挖掘商機(jī)與做出決策,也許是為了吸引眼球),但書中并未涉及太多概率論和數(shù)理統(tǒng)計(jì)方面的知識(shí),而是揭示了五種統(tǒng)計(jì)式思維。統(tǒng)計(jì)式思維跟我們的日常思維截然不同,而且是一種通過學(xué)習(xí)就能獲得的技能。書中每種思維方式都采用一組案例,介紹在數(shù)據(jù)應(yīng)用方面的專業(yè)人士是如何利用統(tǒng)計(jì)原理來改善我們的生活。

關(guān)注異常值,而非平均數(shù)本身。數(shù)據(jù)專業(yè)人士對(duì)平均數(shù)這個(gè)流行概念并不感冒,他們關(guān)心的是平均數(shù)周圍的變異,總要詢問一下變異性,對(duì)平均數(shù)的任何偏差情有獨(dú)鐘。他們反復(fù)考慮變異的程度有多大、發(fā)生的頻率有多高,以及變異存在的原因是什么。比如,研究排隊(duì)問題的人要減少人們的不滿和憤怒,單從縮短平均排隊(duì)時(shí)間上考慮效果并不明顯,一定要關(guān)注那些造成個(gè)體等待時(shí)間偏離總體平均時(shí)間的因素。

相關(guān)性比因果性更重要。我們不必為變異尋找一個(gè)合理的解釋,出現(xiàn)異常的好處是可以從事實(shí)中發(fā)現(xiàn)有用信息。數(shù)據(jù)專業(yè)人士很樂意觀察兩件事物之間存在的相關(guān)模式,他們擅長根據(jù)某些知識(shí)、經(jīng)驗(yàn)對(duì)未知作出有根據(jù)的推測(cè)。因果關(guān)系不是唯一最有價(jià)值的目標(biāo),基于相關(guān)的統(tǒng)計(jì)模型可能更有用處。疾病暴發(fā)模型把原因和結(jié)果聯(lián)系起來告訴我們?yōu)楹斡行┤藭?huì)發(fā)病而另一些人則全然無事,信用評(píng)分模型識(shí)別相關(guān)特征用來描述哪些借款人最可能拖欠貸款而哪些人不會(huì)。

對(duì)數(shù)據(jù)進(jìn)行分層,同類之間進(jìn)行比較。統(tǒng)計(jì)平均數(shù)掩蓋了各組間存在的重大差異,忽視這個(gè)差異通常預(yù)示著將來的不公平對(duì)待。而常用的分組方式,通常是有缺陷的。書中重點(diǎn)分析了SAT考試的設(shè)計(jì)者為消除黑人和白人在考試表現(xiàn)上的懸殊差距所做出的努力以及由此所帶來的后果。

要對(duì)基于統(tǒng)計(jì)的決策進(jìn)行微調(diào),尋找假陰性和假陽性兩類錯(cuò)誤之間的平衡。假陰性和假陽性兩類錯(cuò)誤的代價(jià)是不等價(jià)或者說非對(duì)稱的,一種類型的錯(cuò)誤是高度公開化和高危害性,而另一種確實(shí)鮮為人知的。比如運(yùn)動(dòng)員藥檢,假陰性是看不見的,除非濫用藥物的人自己承認(rèn),而假陽性卻會(huì)遭到公眾的嘲笑與蔑視。這個(gè)原理解釋了為何自動(dòng)數(shù)據(jù)挖掘技術(shù)不能既可以識(shí)破恐怖陰謀又不會(huì)帶來令人難以承受的附帶性破壞,為何類固醇實(shí)驗(yàn)室在抓捕大多數(shù)舞弊運(yùn)動(dòng)員這件事上工作不力。

不要以為稀有事件會(huì)發(fā)生。從統(tǒng)計(jì)學(xué)的世界觀來看,小概率事件意味著不可能,正如頭獎(jiǎng)之于做夢(mèng)者,飛機(jī)失事之于偏執(zhí)狂。重視小概率的力量,一些精心選擇的數(shù)字要比幾十萬雜亂無章的數(shù)字所描述的內(nèi)容要更為豐富。統(tǒng)計(jì)學(xué)家們接受的訓(xùn)練使他們相信極端事件是不可能發(fā)生的,因此他們不懼飛行,也不玩彩票。

我們的世界已經(jīng)被各種各樣的數(shù)據(jù)統(tǒng)治者。對(duì)普通人來說,重要的不是掌握那么復(fù)雜的統(tǒng)計(jì)技術(shù)、分析方法,而是掌握一種數(shù)字化的生存方式:運(yùn)用統(tǒng)計(jì)式思維經(jīng)營人生,解讀身邊發(fā)生的大事小情,做一個(gè)不被數(shù)據(jù)蒙蔽雙眼的現(xiàn)代人。如果我們?cè)谌粘I钪兄廊绾问褂脭?shù)據(jù)做出決策,知道如何不被數(shù)據(jù)忽悠,那就掌握了自己的世界。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • http://data.qq.com/article?id=2932 最近KDnuggets上發(fā)的“20個(gè)問題來分...
    Albert陳凱閱讀 1,120評(píng)論 0 4
  • 滿江紅 凜凜冬風(fēng),又吹遍,千山暮雪。但遙想,劍指樓蘭,弓如滿月。胸涌巨浪吞云夢(mèng), 錚錚男兒志如鐵。濟(jì)天下,有三分俠...
    冥城新秀閱讀 328評(píng)論 0 3
  • 星期五 離開欺騙 第五、最好不相愛 如此便可不相棄。重門深居?難獨(dú)上畫樓西 (四十一) 黎昕告訴我他在雜志社上班,...
    初歸a閱讀 359評(píng)論 0 0
  • 1,從本篇文章中我學(xué)到的最重要的概念 我們要學(xué)會(huì)傾聽,這是對(duì)別人的尊重 2,我在本片文章中學(xué)到的怦然心動(dòng)的單詞 f...
    17數(shù)420孫佳昕閱讀 233評(píng)論 3 1

友情鏈接更多精彩內(nèi)容