數(shù)據(jù)分析方法論

數(shù)據(jù)分析過(guò)程:


1、以事實(shí)為基礎(chǔ)提出假設(shè),界定問(wèn)題

2、將問(wèn)題細(xì)分,形成互不重疊的子問(wèn)題

3、進(jìn)行數(shù)據(jù)收集與分析,證實(shí)或者證偽假設(shè)的問(wèn)題

4、提出方案,推進(jìn)問(wèn)題的解決

5、執(zhí)行方案,驗(yàn)證數(shù)據(jù)分析。


數(shù)據(jù)的分類(lèi):

統(tǒng)計(jì)學(xué)上把數(shù)據(jù)分為三類(lèi),分類(lèi)數(shù)據(jù),順序數(shù)據(jù),數(shù)值數(shù)據(jù)

分類(lèi)型數(shù)據(jù):主要是對(duì)事物的類(lèi)別進(jìn)行描述,比如電商網(wǎng)站中的品類(lèi),社交系統(tǒng)中用戶的等級(jí)

順序型數(shù)據(jù):顧名思義,就是按照順序排列的數(shù)據(jù),這種數(shù)據(jù)也是文字的,如時(shí)間順序,空間順序,優(yōu)先等級(jí)

數(shù)值型數(shù)據(jù):最常見(jiàn)的數(shù)據(jù)類(lèi)型,用數(shù)字或文字描述事物,是 數(shù)據(jù)分析的主要來(lái)源


數(shù)據(jù)分析的目的:

數(shù)據(jù)分析的目的就是把隱藏在一大批看似雜亂無(wú)章的數(shù)據(jù)背后的信息集中和提煉出來(lái),總結(jié)出所研究對(duì)象的內(nèi)在規(guī)律。

數(shù)據(jù)分析的種類(lèi)有三種:

1,描述性數(shù)據(jù)分析:常用對(duì)比分析法,平均分析法,交叉分析法。

平均分析法大致有三種類(lèi)型:

算數(shù)平均數(shù):算數(shù)平均法和加權(quán)算術(shù)平均法簡(jiǎn)單方便,容易受異常值影響。

幾何平均數(shù):主要用于 對(duì)比率,指數(shù)進(jìn)行平均,用來(lái)計(jì)算平均發(fā)展速度,用來(lái)計(jì)算復(fù)利下的平均年利率,在變量可能為負(fù)數(shù)和零的時(shí)候,不能使用,當(dāng)數(shù)據(jù)呈倍數(shù)關(guān)系或者不對(duì)稱(chēng)分布時(shí)適用性強(qiáng)。

調(diào)和平均數(shù):也叫倒數(shù)平均數(shù),主要是用來(lái)解決無(wú)法掌握總體單位數(shù)的情況下,只有每組的變量值和相應(yīng)的標(biāo)志總量,而需要得到平均數(shù)的問(wèn)題,通常在遇到需要計(jì)算平均速度,平均利潤(rùn),平均成本指標(biāo)時(shí)使用,尤其是觀測(cè)值是階段性變異的資料。

2,探索性數(shù)據(jù)分析:相關(guān)分析法,因子分析法,回歸分析法

3,驗(yàn)證性數(shù)據(jù)分析:同上


數(shù)據(jù)分析的作用:


主要三作用:現(xiàn)狀分析,原因分析,預(yù)測(cè)分析


數(shù)據(jù)分析操作過(guò)程:

1.明確目標(biāo):搜集和明確數(shù)據(jù)分析上下游需求,資源,能力和表達(dá)形式,時(shí)間節(jié)點(diǎn)等。

2.數(shù)據(jù)獲?。?/b>從數(shù)據(jù)庫(kù),公開(kāi)出版物,互聯(lián)網(wǎng),市場(chǎng)調(diào)查等方面搜集數(shù)據(jù)。

3.數(shù)據(jù)清洗:數(shù)據(jù)清洗,數(shù)據(jù)轉(zhuǎn)化,數(shù)據(jù)提取,數(shù)據(jù)計(jì)算,具體包括數(shù)據(jù)整理入庫(kù),去除無(wú)效? 數(shù)據(jù),填充缺失信息,選擇變量

? ? 第一階段:預(yù)處理,數(shù)據(jù)導(dǎo)入,元數(shù)據(jù)分析,觀察數(shù)據(jù),一般來(lái)說(shuō)100萬(wàn)條以下用excel,單機(jī)大量? 100萬(wàn)條以上MYSQL+Navicat,單機(jī)海量1000萬(wàn)條以上,文本文件+python

? ? 第二階段:去除補(bǔ)齊有缺失的數(shù)據(jù)

? ? 第三階段:去除修改格式和內(nèi)容錯(cuò)誤的數(shù)據(jù)

? ? 第四階段:去除不需要的數(shù)據(jù)

? ? 第五階段:去除不需要的數(shù)據(jù)

? ? 第六階段:關(guān)聯(lián)性驗(yàn)證

4.數(shù)據(jù)整理:數(shù)據(jù)離散化,數(shù)據(jù)標(biāo)準(zhǔn)化,對(duì)數(shù)據(jù)進(jìn)行重新編碼,對(duì)數(shù)據(jù)表進(jìn)行統(tǒng)計(jì)計(jì)算,生成各級(jí)指標(biāo),主要的目的是將清洗后的數(shù)據(jù)進(jìn)行統(tǒng)一格式,集中存儲(chǔ)。

5.數(shù)據(jù)分析:數(shù)據(jù)分析是將處理后的數(shù)據(jù)進(jìn)行建模分析,描述分析,模型測(cè)試,價(jià)值提取,高層次的分析方法也叫數(shù)據(jù)挖掘,數(shù)據(jù)挖掘側(cè)重解決四類(lèi)問(wèn)題,分類(lèi),聚類(lèi),關(guān)聯(lián),預(yù)測(cè)

6.數(shù)據(jù)展現(xiàn):餅圖,柱狀圖,條形圖,折線圖,雷達(dá)圖等等

7.報(bào)告撰寫(xiě):將模型加載,對(duì)數(shù)據(jù)分析過(guò)程總結(jié)和呈現(xiàn)


數(shù)據(jù)分析報(bào)告邏輯


核心三要素是:邏輯框架、數(shù)據(jù)證明、洞察結(jié)論;

邏輯框架:結(jié)論先行,數(shù)據(jù)跟上,邏輯完善,備注其他;一般以總分總模式為主;


數(shù)據(jù)分析方法論:

事實(shí)上是使用常見(jiàn)的企業(yè)分析方法論,設(shè)計(jì)數(shù)據(jù)分析的維度和范圍,常用的方法包括

1、思考模型


5W+2H:為什么,什么目的,誰(shuí),那個(gè)領(lǐng)域,什么時(shí)候,怎么做

金字塔模型

魚(yú)骨圖模型

事實(shí)--解釋--行為

水平思考,事實(shí),感情,批判,樂(lè)觀,創(chuàng)造,宏觀

2、戰(zhàn)略分析工具


戰(zhàn)略-3C 公司,對(duì)手,顧客

戰(zhàn)略規(guī)劃,橫軸表示競(jìng)爭(zhēng)要素,縱軸表示競(jìng)爭(zhēng)水平

對(duì)業(yè)務(wù)進(jìn)行優(yōu)先排序,縱軸表示公司優(yōu)勢(shì),橫軸表示市場(chǎng)價(jià)值

SWOT矩陣,優(yōu)勢(shì),弱點(diǎn),機(jī)會(huì),危機(jī)

影響要素,五個(gè)力分析,供應(yīng)鏈的變化,需求鏈變化,技術(shù)沖擊,新進(jìn)入者,有無(wú)替代者

組織7S,保持戰(zhàn)略,共同價(jià)值,結(jié)構(gòu),體制,員工,技能,組織文化

3.市場(chǎng)營(yíng)銷(xiāo)分析模型

市場(chǎng)4P,產(chǎn)品,價(jià)格,渠道,廣告

銷(xiāo)售漏斗模型

根據(jù)收入分類(lèi)的家庭數(shù)量的相對(duì)度分布,

人口分布曲線,

意愿能力矩陣

用戶發(fā)布,技術(shù)革新者,有號(hào)召力的人,早期用戶,后期跟風(fēng),滯后采用的

服務(wù)營(yíng)銷(xiāo)三角形,服務(wù)營(yíng)銷(xiāo)的滲透的過(guò)程中,最初關(guān)注功能,然后轉(zhuǎn)移到渠道,最后由品牌影響力

PPM分析,縱軸表示成長(zhǎng)率,市場(chǎng)占有率,分為,兒童業(yè)務(wù),明星業(yè)務(wù),瘦狗業(yè)務(wù),現(xiàn)金牛

VRIO分析,價(jià)值,稀缺性,跟進(jìn)難度,組織能力


4.常見(jiàn)管理模型


六西格瑪

PDCA循環(huán),計(jì)劃,實(shí)施,改善,驗(yàn)證,

價(jià)值鏈,橫軸表示研究,開(kāi)發(fā),采購(gòu),生產(chǎn),流通,銷(xiāo)售,售后,縱軸表示競(jìng)爭(zhēng)對(duì)手

緊迫性和重要性的矩陣,重要性和緊迫性


5.數(shù)據(jù)挖掘模型


聚類(lèi):kmeans、系統(tǒng)層次聚類(lèi)

分類(lèi):相似度計(jì)算、決策樹(shù)

回歸:邏輯回歸,線性回歸

降維:主成分分析、因子分析,對(duì)應(yīng)分析/mds

文本挖掘:Word2vec、DOC2ver/LDA、文本相似度計(jì)算

時(shí)間序列等等

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容