大多數(shù)企業(yè),都有BI或類似BI的部門或團(tuán)隊(duì),它們肯定有兩項(xiàng)基礎(chǔ)工作,一項(xiàng)是提供報(bào)表,這個(gè)大家都懂,還有一項(xiàng)是取數(shù),即根據(jù)業(yè)務(wù)要求臨時(shí)性的提供數(shù)據(jù)解決方案,比如提供營(yíng)銷清單或決策分析的數(shù)據(jù)。
大多數(shù)時(shí)候,取數(shù)的量遠(yuǎn)遠(yuǎn)超過報(bào)表的量,因?yàn)閳?bào)表往往是成形的指標(biāo)的系統(tǒng)固化,而取數(shù)往往是具有探索性和分析型,因此數(shù)量可能會(huì)非常龐大,比如一些企業(yè)一年的報(bào)表新增或修改不到幾百張,但取數(shù)卻有上萬個(gè)。
取數(shù)是一個(gè)企業(yè)非常依賴的一項(xiàng)基礎(chǔ)IT工作,除了常規(guī)的KPI和報(bào)表,其實(shí)放在領(lǐng)導(dǎo)案頭的多數(shù)分析數(shù)據(jù),往往來自臨時(shí)性的取數(shù),典型的場(chǎng)景如下:
“領(lǐng)導(dǎo)發(fā)現(xiàn)了KPI的一個(gè)異動(dòng)問題,業(yè)務(wù)分析人員要盡快核查清楚問題,但常規(guī)的報(bào)表然并卵,業(yè)務(wù)人員會(huì)作一些設(shè)想,然后設(shè)計(jì)大量的分析表格,而這個(gè)表格的數(shù)據(jù),則需要BI團(tuán)隊(duì)中的取數(shù)人員臨時(shí)性的提取并提供?!?/p>
現(xiàn)在大數(shù)據(jù)很熱,人工智能很高大上,但其實(shí)大多企業(yè)的日常決策,靠的還是這種數(shù)據(jù)支撐模式,IT在里面的價(jià)值,就是提供這些數(shù)據(jù)。
取數(shù)是當(dāng)前大多數(shù)企業(yè)決策的生命線,也是IT價(jià)值的重要體現(xiàn),這個(gè)評(píng)價(jià)我想在當(dāng)前毫不為過,雖然業(yè)務(wù)人員可以風(fēng)光的將取數(shù)人員的成果最終展現(xiàn)為漂亮的圖表和分析報(bào)告,但完成分析的時(shí)候,也請(qǐng)千萬別忘了感謝一下取數(shù)人員。
這里為取數(shù)人員的價(jià)值正名,雖然可能在老板年終總結(jié)報(bào)告上只有一個(gè)呆板的數(shù)字,但又有哪一頁跟取數(shù)脫得了關(guān)系,雖然很多人并沒意識(shí)到。
但業(yè)務(wù)人員卻經(jīng)常抱怨取數(shù)的速度和質(zhì)量,取數(shù)看起來并不那么容易。
為什么?
自己有過很多年的取數(shù)經(jīng)歷,雖然現(xiàn)在已經(jīng)不做取數(shù)了,但還是要回過頭來談?wù)勱P(guān)于取數(shù)的看法,希望有所啟示。
首先,是錯(cuò)位問題。
取數(shù),到底是IT人員的職責(zé)還是業(yè)務(wù)分析人員的職責(zé),從傳統(tǒng)的角度來講,存在的即是合理的,在大多數(shù)企業(yè)仍然是IT人員的職責(zé),畢竟IT人員離數(shù)據(jù)最近,既然系統(tǒng)是你建的,從上面取個(gè)數(shù)理所當(dāng)然是你的職責(zé),況且還要寫代碼,更加不可能是業(yè)務(wù)人員的事情。
但從另一個(gè)角度講,取數(shù)是業(yè)務(wù)人員的職責(zé)也是合理的,做分析,講究的是個(gè)數(shù)據(jù)探索,探索本來是個(gè)不確定的事情,而且需要反復(fù)迭代,取數(shù)中業(yè)務(wù)人員和取數(shù)人員的溝通成本是很大的,兩個(gè)不同背景的人,在業(yè)務(wù)口徑和數(shù)據(jù)口徑上要達(dá)到統(tǒng)一,對(duì)于雙方要求都很高。
取數(shù)的迭代成本其實(shí)蠻高的,一般以天計(jì),給取數(shù)設(shè)置一個(gè)指標(biāo),比如反復(fù)取數(shù)率,估計(jì)這個(gè)指標(biāo)也是驚人的。
這個(gè)錯(cuò)位需要改變嗎?
各個(gè)企業(yè)需要根據(jù)實(shí)際情況做取舍,沒有絕對(duì)的邊界,取數(shù)放在哪邊都有合理的地方,但如果業(yè)務(wù)人員抱怨速度太慢,可以轉(zhuǎn)換下思維,嘗試下自己去取數(shù),這個(gè)并不是純技術(shù)活,懂點(diǎn)SQL就能應(yīng)付大多數(shù)場(chǎng)景,在數(shù)據(jù)處理靈活性上,比那個(gè)EXCEL強(qiáng)很多。
玩數(shù)據(jù),不要太相信人家端到你面前的,那也是信息量打了很多折扣的,業(yè)務(wù)分析人員應(yīng)該看到企業(yè)最鮮活、最原始的數(shù)據(jù),那個(gè)最有價(jià)值。
因此建議業(yè)務(wù)分析人員應(yīng)該具備取數(shù)能力,這為數(shù)據(jù)分析和創(chuàng)新提供了無限可能,雖然會(huì)犧牲一些取數(shù)時(shí)間,但爭(zhēng)取來的溝通成本降低、IT技能增長(zhǎng)及數(shù)據(jù)分析視野拓展,是完全值得的,取數(shù)讓你更具競(jìng)爭(zhēng)力。
對(duì)于取數(shù)人員來講,如果有可能,可以先嘗試著開放一點(diǎn)集市讓業(yè)務(wù)人員自己來取,你不開放,不去推動(dòng),業(yè)務(wù)人員也許永遠(yuǎn)不會(huì)走出第一步。
除了傳統(tǒng)習(xí)慣,業(yè)務(wù)人員所以不自己取數(shù),往往是因?yàn)槭袌?chǎng)競(jìng)爭(zhēng)沒到那個(gè)份上,數(shù)據(jù)分析快點(diǎn)慢點(diǎn)沒關(guān)系,也不是關(guān)鍵環(huán)節(jié),但如果是個(gè)數(shù)據(jù)驅(qū)動(dòng)型的企業(yè),還是要做一些變革。
但有一點(diǎn)需要承認(rèn),如果錯(cuò)位不改變,無論取數(shù)系統(tǒng)多快,由于溝通成本很難降低,取數(shù)速度沒法獲得幾何級(jí)的上升。
其次,取數(shù)對(duì)于BI的人員要求其實(shí)很高。
取數(shù)人員,對(duì)于某個(gè)取數(shù),要知其然并知其所以然,什么意思呢?
當(dāng)前BI取數(shù)人員,大多是從數(shù)據(jù)倉庫或報(bào)表庫等OLAP系統(tǒng)提取數(shù)據(jù),數(shù)據(jù)倉庫的模型表往往是已經(jīng)加工好的表,其在提供取數(shù)方便的時(shí)候,也過濾掉了大量源系統(tǒng)數(shù)據(jù)的信息,這往往導(dǎo)致一個(gè)取數(shù)需求明明可以取,但由于數(shù)據(jù)倉庫的限制而無法取的情形,取數(shù)人員就像井底之蛙,只能看到數(shù)據(jù)倉庫讓你看到的東西。
這種現(xiàn)象普遍存在,因?yàn)橄到y(tǒng)早就在那里,你接手的是一個(gè)成熟的系統(tǒng),現(xiàn)在開發(fā)都講封裝,但封裝在提供開發(fā)便利的時(shí)候,也讓我們的新手缺少了接觸本源信息的機(jī)會(huì),從而扼殺了創(chuàng)造力,我們不是站在巨人的肩膀上,而是被限制在巨人的肩膀上,不敢去懷疑哪怕是半點(diǎn)。
要成為取數(shù)專家,特別強(qiáng)調(diào)的一點(diǎn)是一定要理解源系統(tǒng)數(shù)據(jù),只有這樣才能理解數(shù)據(jù)倉庫模型的本質(zhì),才能更好的理解業(yè)務(wù)需求,通過刻意訓(xùn)練,你成為了公司內(nèi)唯一能夠連接起業(yè)務(wù)人員、倉庫人員、源系統(tǒng)開發(fā)人員的橋梁,你才可能成為專家。
專家不僅僅是滿足需求的人,還能主動(dòng)創(chuàng)造需求和給出建議,比如能對(duì)于數(shù)據(jù)倉庫的模型提出改進(jìn)意見,能對(duì)業(yè)務(wù)人員提出的需求進(jìn)行質(zhì)疑,這都來源于你對(duì)于數(shù)據(jù)認(rèn)知的深度,但這樣的人,其實(shí)很少,因?yàn)樾枰桃庥?xùn)練。
舉個(gè)例子,公司內(nèi)CRM菜單上的某個(gè)條目,你知道對(duì)應(yīng)于源系統(tǒng)哪個(gè)數(shù)據(jù)嗎?并且影響到數(shù)據(jù)倉庫哪個(gè)模型嗎? 業(yè)務(wù)人員往往不管你從哪個(gè)系統(tǒng)取數(shù),總是從看得見的地方提出問題和需求,如果你是普通的取數(shù)人員,一旦倉庫沒有對(duì)應(yīng)數(shù)據(jù),是否就不清楚如何作答,但專家不是,這就是差距。
當(dāng)然取數(shù)人員不僅需要專,也需要廣,這又是為什么?
數(shù)據(jù)分析的價(jià)值在于多領(lǐng)域數(shù)據(jù)的融合分析,這就需要取數(shù)人員對(duì)于公司的大多領(lǐng)域數(shù)據(jù)要有充分的掌握,數(shù)據(jù)廣度往往決定了取數(shù)人員的視野,也決定了其發(fā)展?jié)摿Α?/p>
但取數(shù)還是比較容易陷入“做熟做?!崩Ь?,因?yàn)槠匠=佑|到的取數(shù)需求可能大多比較狹隘,因此掌握更多領(lǐng)域的數(shù)據(jù)似乎無此必要,這也是專家和普通取數(shù)者的區(qū)別,但如果你對(duì)于數(shù)據(jù)有更多的大局觀,你就能適應(yīng)不同場(chǎng)景的需求,就能融會(huì)貫通。
領(lǐng)導(dǎo)所以為領(lǐng)導(dǎo),有一個(gè)特別重要的,就是它接觸的領(lǐng)域比你廣太多,對(duì)于取數(shù)的人來說,更廣的數(shù)據(jù)視野讓你取數(shù)游刃有余,有更大的發(fā)展?jié)摿Α?/p>
比如,你要做業(yè)務(wù),可以,企業(yè)最需既懂?dāng)?shù)據(jù)也懂業(yè)務(wù)的綜合人才,你要做系統(tǒng),可以,因?yàn)槟愣聪到y(tǒng)的數(shù)據(jù),你要做模型,可以,廣褒的數(shù)據(jù)視野和強(qiáng)大的取數(shù)能力是你獨(dú)一無二的分析武器,你要做項(xiàng)目,可以,很多綜合的取數(shù)人員往往能走上BI項(xiàng)目經(jīng)理的崗位,你要做技術(shù),也行,平臺(tái)要獲得成功始終要依賴業(yè)務(wù)和數(shù)據(jù)的深入理解。
做一個(gè)合格的取數(shù)人員很不容易,特別是要成為專家型的人物,那也是需要付出巨大的代價(jià)的,沒人逼你做這些又紅又專的事情,想選擇怎樣的道路,全賴自己。
但有一點(diǎn)是肯定的,如果你希望通過被動(dòng)的接收一些取數(shù)需求就能獲得更大的提升,那基本也不可能,取數(shù)這個(gè)事情,2-3年就可以很熟很上手了,應(yīng)付崗位訴求綽綽有余。但要讓業(yè)務(wù)人員對(duì)你建立起完全的信任,真心的稱呼你為專家,則是兩個(gè)境界的事情。
再次,取數(shù)要能自動(dòng)化,但這個(gè)真得很難。
取數(shù)人員的使命是讓取數(shù)更快更準(zhǔn),這將越來越成為企業(yè)的核心競(jìng)爭(zhēng)力,因?yàn)樾碌臅r(shí)代市場(chǎng)變化越來越快,取數(shù)越快越準(zhǔn),企業(yè)的決策成本就能越低。
除了增強(qiáng)取數(shù)人員本身能力,還有什么辦法讓取數(shù)越快呢?
那就是自動(dòng)化,平臺(tái)化。
記住,取數(shù)不總是那么變幻萬千,它也是有一定規(guī)律的,這為自動(dòng)化提供了可能,比如有兩類典型取數(shù)類型,營(yíng)銷清單型和復(fù)雜分析型,營(yíng)銷清單型,往往跟一線執(zhí)行相關(guān),70-80%的規(guī)則是比較簡(jiǎn)單的,通過配置往往就可以提供,復(fù)雜分析型,則規(guī)則比較難抽象,但也是有規(guī)律可循的。
不少企業(yè),正是建立了自助取數(shù)平臺(tái),通過提供前臺(tái)配置界面,從而讓業(yè)務(wù)人員自助完成取數(shù)工作,這能夠解決很大部分取數(shù)工作,好處很多,以XX運(yùn)營(yíng)商為例:
(1)? 能自助解決至少50%以上的取數(shù)需求;
(2) ?取數(shù)標(biāo)準(zhǔn)化,不易出錯(cuò);
(3)? 速度更快,一般在30分鐘;
(4) ?取數(shù)在線化,經(jīng)驗(yàn)獲得傳承;
當(dāng)然這類取數(shù)平臺(tái)建設(shè)比較艱難,除了體驗(yàn)要好,性能要高,還要去做持續(xù)的運(yùn)營(yíng),而且改變業(yè)務(wù)人員取數(shù)習(xí)慣很難。
但取數(shù)人員始終要有一顆自動(dòng)化的心,以前筆者和同事堅(jiān)持做這個(gè)平臺(tái)2-3年,最后算是推廣開,而這個(gè)平臺(tái)現(xiàn)在還活著,至少占據(jù)著公司40%的取數(shù)量。
作為一個(gè)IT人員,最大的褒獎(jiǎng)應(yīng)是自己倡導(dǎo)或建設(shè)的平臺(tái)有人仍然在用,并持續(xù)的發(fā)揮出價(jià)值吧,而筆者以前在5年里拉磨似的取的上千個(gè)數(shù),還有誰會(huì)記得呢?
這個(gè)其實(shí)也帶點(diǎn)平臺(tái)化的思維,取數(shù)人員一定要努力形成取數(shù)的平臺(tái)生態(tài),你發(fā)力的點(diǎn)不在一個(gè)個(gè)取數(shù),而在于建設(shè)及運(yùn)營(yíng)好取數(shù)這個(gè)開放的平臺(tái),不要僅僅是自己在這個(gè)平臺(tái)孤獨(dú)的跳舞,要能創(chuàng)造足夠好的數(shù)據(jù)模型,提供足夠好的操控體驗(yàn)。
大數(shù)據(jù)時(shí)代,現(xiàn)在領(lǐng)先一點(diǎn)的都開始搞人工智能了,雖然我們是傳統(tǒng)企業(yè),但也不要被拉的太遠(yuǎn),要有一顆“平臺(tái)”的心,關(guān)于取數(shù)自動(dòng)化后面我會(huì)專門撰文,敬請(qǐng)期待。
創(chuàng)造環(huán)境,讓別人比你活得更好。
最后,在這個(gè)大數(shù)據(jù)時(shí)代,取數(shù)人員還是要與時(shí)俱進(jìn)。
以前報(bào)表取數(shù)人員橫跨業(yè)務(wù)和數(shù)據(jù),號(hào)稱是企業(yè)的綜合型人才,但現(xiàn)在已經(jīng)遠(yuǎn)遠(yuǎn)不夠了。
為什么?
大數(shù)據(jù)時(shí)代技術(shù)突飛猛進(jìn),隨著數(shù)據(jù)量的變化,IOE已經(jīng)無法走遍天下了,你要取數(shù)取得快,需要升級(jí)你的平臺(tái)引擎了,我能打造更牛逼的自助取數(shù)平臺(tái)嗎?最近也一直在問,我們傳統(tǒng)企業(yè)的取數(shù)挖掘,能不能全部搬到SPARK?
大數(shù)據(jù)結(jié)構(gòu)越來越復(fù)雜,業(yè)務(wù)場(chǎng)景越來越多,SQL顯然不夠用了,我們的取數(shù)人員未來是不是要掌握各類語言,以適應(yīng)不同的取數(shù)場(chǎng)景?比如,能否取出近3分鐘的上網(wǎng)流數(shù)據(jù)并統(tǒng)計(jì)給我?能否臨時(shí)爬蟲看看公司的負(fù)面輿情如何?
大數(shù)據(jù)時(shí)代更強(qiáng)調(diào)算法了,我們半路出家的取數(shù)人員,如果面對(duì)業(yè)務(wù)人員這個(gè)問題,該如何作答?能否給我取個(gè)數(shù),看看杭州的公交司機(jī)有多少?這個(gè)還是傳統(tǒng)的取數(shù)嗎,是嗎?不是嗎?
沒必要去質(zhì)疑業(yè)務(wù)人員,這個(gè)可能就是未來的臨時(shí)取數(shù)需求,取數(shù)人員,準(zhǔn)備好了嗎?