對絕大多數(shù)產(chǎn)品、運營、開發(fā)來說，數(shù)據(jù)分析都是個頭疼事，需求理解偏差配合不順暢、埋點量大易出錯、數(shù)據(jù)量大手動跑表蝸牛速。

關(guān)鍵是，大家都花了90%時間在基礎(chǔ)瑣事上，花了10%的時間做業(yè)務(wù)數(shù)據(jù)分析，互相之間因為不理解還要互相diss互相傷害，腦子里都有一萬頭神獸分分鐘飄過。

本是同病連，相煎何太急，多多理解，互相愛護才是真！快來看看業(yè)務(wù)小姐姐和程序員小哥哥們的苦衷吧～

一、梳理業(yè)務(wù)，定制數(shù)據(jù)抓取方案

1、業(yè)務(wù)需求梳理，制定數(shù)據(jù)驅(qū)動分析目標，定制數(shù)據(jù)采集方案

2、小程序/APP/WEB/服務(wù)器數(shù)據(jù)采集SDK，最大程度減少開發(fā)工作量

3、全端數(shù)據(jù)采集，數(shù)據(jù)埋點無死角

二、構(gòu)建統(tǒng)一用戶數(shù)據(jù)倉庫

1、清晰定義用戶（User）屬性與事件（Event）屬性，讓公司人人都能看得懂

2、為不同產(chǎn)品打造統(tǒng)一數(shù)據(jù)倉庫，混亂情況不再有

3、用戶分群、元數(shù)據(jù)管理、事件屬性、用戶屬性均可在一個系統(tǒng)靈活定義

三、為業(yè)務(wù)團隊打造上手即用分析模型

1、為業(yè)務(wù)人員設(shè)置多種分析模型，實現(xiàn)上手即用

2、利用自動系統(tǒng)，解決手動跑表問題，讓團隊從繁瑣基礎(chǔ)工作解放

3、產(chǎn)品、運營、數(shù)分、老板，每個人按需定制看板

四、利用先進技術(shù)，實現(xiàn)大數(shù)據(jù)實時分析

1、可選用實時流式計算框架TA-DATA-ETL，實現(xiàn)框架橫向擴容并保障百億級數(shù)據(jù)無延時處理

2、基于MPP架構(gòu)的分布式Adhoc查詢引擎，實現(xiàn)百億數(shù)據(jù)秒級分析

3、將可更新NoSQL存儲系統(tǒng)Kudu和順序存儲系統(tǒng)Hive完美結(jié)合

五、選擇私有化部署保護用戶數(shù)據(jù)安全

1、私有化系統(tǒng)部署，數(shù)據(jù)存儲在公司內(nèi)部服務(wù)器，用戶數(shù)據(jù)安全無憂

2、接收端多臺服務(wù)器負載均衡+高可用，數(shù)據(jù)傳輸不丟失

存儲端基于HDFS+KUDU的分布式存儲框架，數(shù)據(jù)存儲不丟失

3、系統(tǒng)運維監(jiān)控，服務(wù)異常實時告警、自動運維，保障私有化情況下系統(tǒng)安全

在AI、大數(shù)據(jù)分析領(lǐng)域，7分專家、3分工具，也就是要利用專業(yè)人才對業(yè)務(wù)、行業(yè)的認知，給AI、大數(shù)據(jù)“賦能”。

如果核心團隊的精力的90%被數(shù)據(jù)收集、數(shù)據(jù)清洗的瑣事占據(jù)，只有10%的時間做數(shù)據(jù)建模、數(shù)據(jù)分析，團隊成員的士氣、產(chǎn)出勢必受到影響。

文/韓進（公眾號：數(shù)數(shù)科技）