在美國(guó),大數(shù)據(jù)工程師平均年薪達(dá)17.5萬(wàn)美元,在中國(guó)頂尖的互聯(lián)網(wǎng)公司里,大數(shù)據(jù)工程師的薪酬比同級(jí)別的其他職位高出30%以上。DT時(shí)代來(lái)得太突然了,國(guó)內(nèi)發(fā)展勢(shì)頭很猛,而大數(shù)據(jù)相關(guān)的人才卻非常地有限,在未來(lái)若干年內(nèi)都會(huì)是供不應(yīng)求的狀況,因此程序員們,你們的春天到了!
轉(zhuǎn)行也并非一朝一夕的事情,你需要對(duì)這個(gè)行業(yè)有一定的了解,并匹配一下自己的知識(shí)和能力結(jié)構(gòu)。
以下是一位在BAT大數(shù)據(jù)領(lǐng)域打滾了N年后的分析師寫下的一些總結(jié)和體會(huì)給想入行或是剛?cè)胄写髷?shù)據(jù)的朋友借鑒學(xué)習(xí)!
成為數(shù)據(jù)分析師有哪些要求?
1、理論知識(shí)要寬泛,涉及數(shù)學(xué)、市場(chǎng)和技術(shù)。要求及對(duì)數(shù)據(jù)敏感,包括統(tǒng)計(jì)知識(shí)、市場(chǎng)研究、模型原理等。
2、常規(guī)分析工具的使用,包括數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘、統(tǒng)計(jì)分析工具,常用辦公軟件(Excel、PPT、思維導(dǎo)圖)等等。
3、有一定的業(yè)務(wù)理解能力,能理解業(yè)務(wù)背后的商業(yè)邏輯。因?yàn)橹挥欣斫饬松虡I(yè)問(wèn)題,才能轉(zhuǎn)換成數(shù)據(jù)分析的問(wèn)題,從而滿足部門的要求。
4、數(shù)據(jù)報(bào)告和數(shù)據(jù)可視化的能力。數(shù)據(jù)分析得再好,如果不能以漂亮的方式“表達(dá)”,成效也會(huì)大打折扣。
現(xiàn)在大多工作都需要你擁有邏輯分析能力,尤其是對(duì)數(shù)據(jù)的分析理解。在數(shù)據(jù)化運(yùn)營(yíng)理念深入的今天,BAT這樣的大型互聯(lián)網(wǎng)公司強(qiáng)調(diào)全員參與數(shù)據(jù)化運(yùn)營(yíng),把數(shù)據(jù)分析當(dāng)作一種能力在培訓(xùn),也必定是未來(lái)趨勢(shì)。
數(shù)據(jù)分析師所需具備的能力和知識(shí)(從數(shù)據(jù)分析的4個(gè)步驟來(lái)理解)
數(shù)據(jù)分析的四個(gè)步驟:數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)呈現(xiàn)。
1、數(shù)據(jù)獲取
數(shù)據(jù)獲取看似簡(jiǎn)單,但是需要把握對(duì)問(wèn)題的商業(yè)理解,轉(zhuǎn)化成數(shù)據(jù)問(wèn)題來(lái)解決,直白點(diǎn)講就是需要哪些數(shù)據(jù),從哪些角度來(lái)分析,界定問(wèn)題后,再進(jìn)行數(shù)據(jù)采集。此環(huán)節(jié),需要數(shù)據(jù)分析師具備結(jié)構(gòu)化的邏輯思維。
推薦書籍:《金字塔原理》、麥肯錫三部曲:麥肯錫意識(shí)、工具、方法;
推薦工具:思維導(dǎo)圖工具(Xmind\百度腦圖等);
2、數(shù)據(jù)處理
數(shù)據(jù)的處理需要掌握有效率的工具:
Excel及高端技能:日常工作通用,容易掌握,處理10萬(wàn)級(jí)別的數(shù)據(jù)很輕松。
學(xué)習(xí)高端Excel需要哪些技能?
學(xué)習(xí)excel是個(gè)循序漸進(jìn)的過(guò)程
基礎(chǔ):簡(jiǎn)單的表格數(shù)據(jù)處理、打印、查詢、篩選、排序
函數(shù)和公式:常用函數(shù)、高級(jí)數(shù)據(jù)計(jì)算、數(shù)組公式、多維引用、function
可視化圖表:圖形圖示展示、高級(jí)圖表、圖表插件
數(shù)據(jù)透視表、VBA程序開(kāi)發(fā)
按照我習(xí)慣的方法,先過(guò)一遍基礎(chǔ),知道什么是什么,然后找?guī)讉€(gè)case練習(xí)。多逛逛excelhome論壇,平常多思考如何用excel來(lái)解決問(wèn)題,善用插件,還有記得保存。
帆軟FineReport:專業(yè)的報(bào)表工具,日常做報(bào)表設(shè)計(jì)一個(gè)模板可通用,只要會(huì)寫SQL就可上手。相比excel做報(bào)表,開(kāi)發(fā)的技術(shù)要求較少,能很快地開(kāi)發(fā)常規(guī)報(bào)表、動(dòng)態(tài)報(bào)表,并可以放在移動(dòng)端和大屏查看。
Oracle和SQL sever:企業(yè)最常用的千萬(wàn)級(jí)別的數(shù)據(jù)庫(kù),熟練掌握SQL語(yǔ)言。
保持不斷的技術(shù)學(xué)習(xí),比如學(xué)習(xí)新流行的hadoop之類的分布式數(shù)據(jù)庫(kù)來(lái)提升個(gè)人能力,對(duì)求職有幫助。
3、分析數(shù)據(jù)
分析數(shù)據(jù)往往需要各類統(tǒng)計(jì)分析模型,如關(guān)聯(lián)規(guī)則、聚類、分類、預(yù)測(cè)模型等等。
因此,熟練掌握一些統(tǒng)計(jì)分析工具不可免:
SPSS系列:老牌的統(tǒng)計(jì)分析軟件,SPSS Statistics(偏統(tǒng)計(jì)功能、市場(chǎng)研究)、SPSS Modeler(偏數(shù)據(jù)挖掘),不用編程,易學(xué)。
SAS:經(jīng)典挖掘軟件,需要編程。
R:開(kāi)源軟件,新流行,對(duì)非結(jié)構(gòu)化數(shù)據(jù)處理效率上更高,需編程。
各類BI工具:
Tableau:可視化工具的鼻祖,對(duì)于處理好的數(shù)據(jù)可作自由的可視化分析,圖表效果驚人
大數(shù)據(jù)BI工具FineBI:類同Tableau,可在前端做任意維度分析;數(shù)據(jù)可在前端繼續(xù)處理(計(jì)算、篩選過(guò)濾等),可對(duì)接hadoop之類的大數(shù)據(jù)平臺(tái),數(shù)據(jù)處理性能較好。
推薦書籍:
1、《說(shuō)菜鳥(niǎo)不會(huì)數(shù)據(jù)分析》系列,入門級(jí)書,初學(xué)者最適。
2、《數(shù)據(jù)挖掘與數(shù)據(jù)化運(yùn)營(yíng)實(shí)戰(zhàn),思路、方法、技巧與應(yīng)用》,內(nèi)容很系統(tǒng)很全面。
3、《市場(chǎng)研究定量分析方法與應(yīng)用》,簡(jiǎn)明等編著,中國(guó)人民大學(xué)出版社。
4、數(shù)據(jù)可視化呈現(xiàn)
很多數(shù)據(jù)分析工具已經(jīng)涵蓋了數(shù)據(jù)可視化部分,只需要把數(shù)據(jù)結(jié)果進(jìn)行有效的呈現(xiàn)和演講匯報(bào),可用word\PPT\H5等方式展現(xiàn)。
學(xué)習(xí)路線規(guī)劃
高清完整圖文末獲取
第一階段(基礎(chǔ)階段)
Linux學(xué)習(xí)
Linux操作系統(tǒng)介紹與安裝、Linux常用命令、Linux常用軟件安裝、Linux網(wǎng)絡(luò)、 防火墻、Shell編程等。
Java 高級(jí)學(xué)習(xí)(《深入理解Java虛擬機(jī)》、《Java高并發(fā)實(shí)戰(zhàn)》)
掌握多線程、掌握并發(fā)包下的隊(duì)列、掌握J(rèn)VM技術(shù)、掌握反射和動(dòng)態(tài)代理、了解JMS。
Zookeeper學(xué)習(xí)
Zookeeper分布式協(xié)調(diào)服務(wù)介紹、Zookeeper集群的安裝部署、Zookeeper數(shù)據(jù)結(jié)構(gòu)、命令。
第二階段(攻堅(jiān)階段)
Hadoop、Hive、HBase、Scala、Spark、Python
第三階段(輔助工具工學(xué)習(xí)階段)
Sqoop、Flume、Oozie、Hue這些工具的學(xué)習(xí)主要在CSDN,51CTO以及官網(wǎng)都可以學(xué)習(xí)。
那如何學(xué)習(xí)才能快速入門并精通呢?
學(xué)習(xí)Hadoop生態(tài)(MR、Hbase、Spark、Storm等)開(kāi)發(fā)技術(shù),深度講解了數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)相關(guān)的算法、神經(jīng)網(wǎng)絡(luò)等內(nèi)容!
而且還把集群需要用到的各種程序進(jìn)行了打包,根據(jù)基礎(chǔ)視頻可以讓你輕松搭建Hadoop完全分布式環(huán)境,像在企業(yè)生產(chǎn)環(huán)境一樣進(jìn)行學(xué)習(xí)和實(shí)踐。
再次強(qiáng)調(diào):
1、把數(shù)據(jù)分析作為一種能力培養(yǎng),讓自己在現(xiàn)在的團(tuán)隊(duì)中展現(xiàn)出良好的數(shù)據(jù)分析能力,為你以后內(nèi)部轉(zhuǎn)崗做好準(zhǔn)備。
2、扎實(shí)學(xué)好一、兩門數(shù)據(jù)挖掘軟件,基于你已有得編程基礎(chǔ),可以學(xué)SAS或者R,基本能夠滿足很大部分企業(yè)的需求。
3、多看多想多觀察,學(xué)習(xí)業(yè)務(wù)職能是這樣,細(xì)水長(zhǎng)流,還需要不斷工作積累和廣泛的閱讀。
最后,希望你能夠成為你想成為的人!