數(shù)據(jù)分析到底是做什么?
什么是數(shù)據(jù)分析?最近每每都是聽到數(shù)據(jù)分析很牛,但是什么是數(shù)據(jù)分析呢?數(shù)據(jù)分析的前提是要用來解決問題,所有與決策無關(guān)的數(shù)據(jù)分析僅僅是描述數(shù)據(jù)而言,沒有任何幫助,數(shù)據(jù)分析的目的就是用來決策的,盡管可能是錯(cuò)誤的假設(shè),那么也要通過AB測試或者其他假設(shè)檢驗(yàn)方式判斷是否正確,整個(gè)流程都在數(shù)據(jù)分析的范疇中,就好像是用數(shù)據(jù)做一個(gè)社會性的實(shí)驗(yàn)一樣,必須要有問題和結(jié)論。
數(shù)據(jù)分析的步驟
書中將數(shù)據(jù)分析步驟劃分為5個(gè)步驟
- 了解:了解問題產(chǎn)生的業(yè)務(wù)背景,產(chǎn)生原因,所涉及到的能收集到的定性或者定量數(shù)據(jù)以及不能收集到的專家經(jīng)驗(yàn)判斷。
- 確定:確定需要解決的問題是什么,確定所需要的數(shù)據(jù)有哪些
- 分解:分解問題和數(shù)據(jù),必須要對問題和數(shù)據(jù)窮盡原則的分解,從一個(gè)小問題小問題來對應(yīng)到數(shù)據(jù),并歸納總結(jié)為一個(gè)結(jié)論或者假設(shè)的決策方案
- 評估:對分解得到的結(jié)論和決策方案放入到實(shí)際情況下,評估正確性
- 決策:給與一個(gè)可以實(shí)施的結(jié)論或者決策
數(shù)據(jù)分析并不是線性規(guī)定的流程,而是個(gè)不斷循環(huán)迭代的過程,一旦開始就沒有所謂的結(jié)束,應(yīng)該市場和數(shù)據(jù)都有一個(gè)時(shí)效性,決策也有個(gè)時(shí)效性,必須不斷迭代更新.
大部分其他書籍中將數(shù)據(jù)分析步驟分為六個(gè)步驟:明確分析目的和內(nèi)容----->數(shù)據(jù)收集----->數(shù)據(jù)預(yù)處理----->數(shù)據(jù)分析----->數(shù)據(jù)展現(xiàn)----->報(bào)告撰寫,對應(yīng)著應(yīng)該是上面確定和分解兩個(gè)部分,報(bào)告撰寫不是目的,我們要牢記數(shù)據(jù)分析的目的是解決問題,所以對評估和決策這兩步也要把控到位。
如何評估?
- 這部分書中有用一章實(shí)驗(yàn)來描述如何對分析的結(jié)果進(jìn)行評估,就像我們做科學(xué)實(shí)驗(yàn)一樣,都是要去除樣本集中影響因子,確定實(shí)驗(yàn)集和對比集,這樣才能有效評估。
- 二是用偽證法,當(dāng)策略多而雜亂的時(shí)候
如何分解?
- 我們面對分解時(shí)總是有種無從下手的感覺,面對分解首先應(yīng)該想的是文中提到的啟發(fā)法,應(yīng)用窮盡原則,從內(nèi)部到外部各個(gè)方面思考才行,這部分需要很好的思維,最常用的是5W2H原則。
- 問題分解可以巧用思維導(dǎo)圖,這樣可以很好的表示問題的分解,可以用樹狀法模擬用戶的判斷思維
- 數(shù)據(jù)的分解:首先應(yīng)該對數(shù)據(jù)進(jìn)行處理,這是所有數(shù)據(jù)分析的書都會提到的,但是設(shè)計(jì)到的基本上就是簡單的空值處理、數(shù)據(jù)格式處理和數(shù)據(jù)轉(zhuǎn)換(提取數(shù)據(jù)、整合數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)化),這本書只是在文章最后兩章講到關(guān)系型數(shù)據(jù)庫的時(shí)候用數(shù)據(jù)整理一章講了數(shù)據(jù)處理。文中一開始的數(shù)據(jù)包括了調(diào)查問卷結(jié)果、報(bào)紙報(bào)刊文件、專家思考總結(jié)所得等等,這些數(shù)據(jù)都是非結(jié)構(gòu)化甚至無法量化的數(shù)據(jù),如何利用這些數(shù)據(jù)進(jìn)行分析呢?文中有舉一些例子如偽證法、啟發(fā)法等,這些都是很好用的方法。
數(shù)據(jù)的展示:
文中例舉了兩個(gè)數(shù)據(jù)展示方式:散點(diǎn)圖(更有利于展示相關(guān)性)和直方圖(更有利于展示數(shù)據(jù)分布趨勢)
預(yù)測:
最后文中提及了回歸預(yù)測和合理誤差,每次回歸分析的時(shí)候都要設(shè)定一個(gè)合理誤差區(qū)域,這樣才能很好的給客戶一個(gè)決策意見。