第一：什么是大數(shù)據(jù)
來(lái)看看維基百科的定義
大數(shù)據(jù)（英語(yǔ)：Big data或Megadata），或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無(wú)法通過(guò)人工，在合理時(shí)間內(nèi)達(dá)到截取、管理、處理、并整理成為人類(lèi)所能解讀的信息。
在總數(shù)據(jù)量相同的情況下，與個(gè)別分析獨(dú)立的小型數(shù)據(jù)集相比，將各個(gè)小型數(shù)據(jù)集合并后進(jìn)行分析可得出許多額外的信息和數(shù)據(jù)關(guān)系性，可用來(lái)察覺(jué)商業(yè)趨勢(shì)、判定研究質(zhì)量、避免疾病擴(kuò)散、打擊犯罪或測(cè)定實(shí)時(shí)交通路況等；這樣的用途正是大型數(shù)據(jù)集盛行的原因。
上面那段看起來(lái)比較繞，可以一起看看通俗解釋?zhuān)?/b>
如果你是負(fù)責(zé)做淘寶網(wǎng)的產(chǎn)品推薦工作的，想知道購(gòu)買(mǎi)首飾的用戶是否也會(huì)購(gòu)買(mǎi)電子產(chǎn)品，然后再?zèng)Q定是否給三星做推薦。
在這種條件下就需要調(diào)用前一段時(shí)間（例如一年）的用戶數(shù)據(jù)，只有通過(guò)大量數(shù)據(jù)的證明才能確認(rèn)兩者是否有關(guān)聯(lián)性，如果使用傳統(tǒng)數(shù)據(jù)處理方法，就會(huì)耗費(fèi)大量時(shí)間，等確認(rèn)正相關(guān)的時(shí)候，三星的促銷(xiāo)期都已經(jīng)過(guò)去了，而像淘寶、京東等每天數(shù)據(jù)量動(dòng)輒以TB計(jì)數(shù)，要迅速處理、分析并給出精準(zhǔn)恰當(dāng)?shù)耐斗磐扑]，這就是大數(shù)據(jù)的作用。
以上理解大數(shù)據(jù)可能有些抽象，那么請(qǐng)大家看完以下的一個(gè)故事，這樣理解大數(shù)據(jù)，小學(xué)畢業(yè)也可以看明白了！
在這里我還是要推薦下我自己建的大數(shù)據(jù)學(xué)習(xí)交流qq裙：458345782，?裙?里都是學(xué)大數(shù)據(jù)開(kāi)發(fā)的，如果你正在學(xué)習(xí)大數(shù)據(jù)?，小編歡迎你加入，大家都是軟件開(kāi)發(fā)黨，不定期分享干貨（只有大數(shù)據(jù)開(kāi)發(fā)相關(guān)的），包括我自己整理的一份最新的大數(shù)據(jù)進(jìn)階資料和高級(jí)開(kāi)發(fā)教程，歡迎進(jìn)階中和進(jìn)想深入大數(shù)據(jù)的小伙伴。
看看對(duì)當(dāng)老板的、當(dāng)領(lǐng)導(dǎo)的或當(dāng)老師的等等有什么啟發(fā)和幫助？
必勝客店的電話鈴響了。
客服拿起電話：必勝客。您好! 請(qǐng)問(wèn)有什么需要我為您服務(wù)？
顧客：你好！ 我想要一份……
客服：先生，請(qǐng)先把您的會(huì)員卡號(hào)告訴我，好嗎？
顧客：16846146***。
客服：陳先生，您好！您是住在泉州路一號(hào)12樓1205室。您家電話是2646****，您公司電話是4666****，您的手機(jī)是1391234****。請(qǐng)問(wèn)您想用哪一個(gè)電話付費(fèi)？
顧客：你為什么知道我所有的電話號(hào)碼？
客服：陳先生，因?yàn)槲覀兟?lián)機(jī)CRM系統(tǒng)。
顧客：我想要一個(gè)海鮮比薩……
客服：陳先生，海鮮比薩不適合您。
顧客：為什么？
客服：根據(jù)您的醫(yī)療記錄，你的血壓和膽固醇都偏高。
顧客：那你有什么可以推薦的？
客服：您可以試試我們的低脂健康比薩。
顧客：你怎么知道我會(huì)喜歡這種的？
客服：您上星期一在國(guó)家圖書(shū)館借了一本《低脂健康食譜》。
顧客：好。那我要一個(gè)家庭大號(hào)比薩。
客服：陳先生，大號(hào)的不夠吃。
顧客：為什么？
客服：因?yàn)槟乙还灿辛谌?。?lái)個(gè)特大號(hào)的，怎樣？
顧客：要付多少錢(qián)？
客服：99元。這個(gè)足夠您一家六口吃了。但您母親應(yīng)該少吃，她上個(gè)月剛剛做了心臟搭橋手術(shù)，還處在恢復(fù)期。
顧客：那可以刷卡嗎？
客服：陳先生，對(duì)不起。請(qǐng)您付現(xiàn)款。
顧客：你們不是可以刷卡的嗎？
客服：一般是可以的。但是您的信用卡已經(jīng)刷爆了，您現(xiàn)在還欠銀行4807元，而且還不包括您的房貸利息。
顧客：那我先去附近的提款機(jī)提款。
客服：陳先生，根據(jù)您的記錄，您已經(jīng)超過(guò)今日提款限額了。
顧客：算了，你們直接把比薩送我家吧，家里有現(xiàn)金。你們多久會(huì)送到？
客服：大約30分鐘。如果您不想等，可以自己騎摩托車(chē)來(lái)取。
顧客：為什么？
客服：根據(jù)我們CRM全球定位系統(tǒng)車(chē)輛行駛自動(dòng)跟蹤記錄顯示，您登記的一輛車(chē)號(hào)為SB-748的摩托車(chē)，目前正在解放路東段華聯(lián)商場(chǎng)右側(cè)行駛，離我們店只有50米。
顧客:好吧（頭開(kāi)始暈）
客服：陳先生，建議您再帶一小份海鮮比薩。
顧客：為什么？你不是說(shuō)我不能吃嗎？
客服：根據(jù)我們CRM通訊系統(tǒng)分析，今天您與一位女性通話頻率高、時(shí)間長(zhǎng)，今天又是2.14，我們分析應(yīng)該是您的情人，而這位手機(jī)用戶近來(lái)一直買(mǎi)的是海鮮比薩，她應(yīng)該喜歡這種口味。
顧客：…………
客服：您最好現(xiàn)在就送回家，否則您就不方便出來(lái)了。
顧客：為什么？
客服：根據(jù)我們定位系統(tǒng)，您的愛(ài)人大約30分鐘后到家。
顧客：我為什么要出來(lái)？
客服：您已在匯峰酒店定了今晚的房間，估計(jì)您是與情人約會(huì)吧？
顧客：當(dāng)即暈倒…………
這就是大數(shù)據(jù)！？
第二:目前的大數(shù)據(jù)就業(yè)形勢(shì)
大數(shù)據(jù)，有人稱之為新一代“網(wǎng)紅”?？v觀現(xiàn)在互聯(lián)網(wǎng)企業(yè)，大都離不開(kāi)大數(shù)據(jù)崗位人才。
特別是在國(guó)家政策持續(xù)推動(dòng)下，大數(shù)據(jù)產(chǎn)業(yè)落地進(jìn)程更快，產(chǎn)業(yè)價(jià)值被進(jìn)一步發(fā)掘。2017年我國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模已達(dá)358億元，年增速達(dá)到47.3%，規(guī)模已是2012年的35億元的10倍。預(yù)計(jì)2020年，我國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模將達(dá)到731億元。
同時(shí)，據(jù)最新的大數(shù)據(jù)人才報(bào)告顯示，目前全國(guó)僅有46萬(wàn)大數(shù)據(jù)人才，而未來(lái)3-5年預(yù)估缺口高達(dá)150萬(wàn)。
可見(jiàn)大數(shù)據(jù)崗位人才還是十分緊缺和有前景的！
就業(yè)崗位方向
數(shù)據(jù)分析師
01
以北京、杭州兩地為例，數(shù)據(jù)分析師的平均月薪分別達(dá)到17470/月，13400/月，較之2016年，分別增長(zhǎng)74.3%，45.7%。
大數(shù)據(jù)開(kāi)發(fā)工程師
02
以北京、杭州兩地為例，大數(shù)據(jù)開(kāi)發(fā)工程師的平均月薪分別達(dá)到31880/月，11830/月。
Hadoop開(kāi)發(fā)工程師
03
以北京、杭州兩地為例，Hadoop開(kāi)發(fā)工程師的平均月薪分別達(dá)到22960/月，19870/月，較之2016年，分別增長(zhǎng)32%，30.7%。
數(shù)據(jù)挖掘工程師
以北京、杭州兩地為例，數(shù)據(jù)挖掘工程師的平均月薪分別達(dá)到29370/月，21090/月，較之2016年，分別增長(zhǎng)58.8%，48%。
算法工程師
05
以北京、杭州兩地為例，算法工程師的平均月薪分別達(dá)到30210/月，23300/月，較之2016年，分別增長(zhǎng)72%，64.2%。
第三：學(xué)完大數(shù)據(jù)可以勝任什么職位？
一、ETL研發(fā)
企業(yè)數(shù)據(jù)種類(lèi)與來(lái)源的不斷增加，對(duì)數(shù)據(jù)進(jìn)行整合與處理變得越來(lái)越困難，企業(yè)迫切需要一種有數(shù)據(jù)整合能力的人才。ETL開(kāi)發(fā)者這是在此需求基礎(chǔ)下而誕生的一個(gè)職業(yè)崗位。ETL人才在大數(shù)據(jù)時(shí)代炙手可熱的原因之一是：在企業(yè)大數(shù)據(jù)應(yīng)用的早期階段，Hadoop只是窮人的ETL。
二、Hadoop開(kāi)發(fā)
隨著數(shù)據(jù)規(guī)模不斷增大，傳統(tǒng)BI的數(shù)據(jù)處理成本過(guò)高企業(yè)負(fù)擔(dān)加重。而Hadoop廉價(jià)的數(shù)據(jù)處理能力被重新挖掘，企業(yè)需求持續(xù)增長(zhǎng)。并成為大數(shù)據(jù)人才必須掌握的一種技術(shù)。
三、可視化工具開(kāi)發(fā)
可視化開(kāi)發(fā)就是在可視化工具提供的圖形用戶界面上，通過(guò)操作界面元素，有可視化開(kāi)發(fā)工具自動(dòng)生成相關(guān)應(yīng)用軟件，輕松跨越多個(gè)資源和層次連接所有數(shù)據(jù)。過(guò)去，數(shù)據(jù)可視化屬于商業(yè)智能開(kāi)發(fā)者類(lèi)別，但是隨著Hadoop的崛起，數(shù)據(jù)可視化已經(jīng)成了一項(xiàng)獨(dú)立的專(zhuān)業(yè)技能和崗位。
四、信息架構(gòu)開(kāi)發(fā)
大數(shù)據(jù)重新激發(fā)了主數(shù)據(jù)管理的熱潮。充分開(kāi)發(fā)利用企業(yè)數(shù)據(jù)并支持決策需要非常專(zhuān)業(yè)的技能。信息架構(gòu)師必須了解如何定義和存檔關(guān)鍵元素，確保以最有效的方式進(jìn)行數(shù)據(jù)管理和利用。信息架構(gòu)師的關(guān)鍵技能包括主數(shù)據(jù)管理、業(yè)務(wù)知識(shí)和數(shù)據(jù)建模等。
五、數(shù)據(jù)倉(cāng)庫(kù)研究
為方便企業(yè)決策，出于分析性報(bào)告和決策支持的目的而創(chuàng)建的數(shù)據(jù)倉(cāng)庫(kù)研究崗位是一種所有類(lèi)型數(shù)據(jù)的戰(zhàn)略集合。為企業(yè)提供業(yè)務(wù)智能服務(wù)，指導(dǎo)業(yè)務(wù)流程改進(jìn)和監(jiān)視時(shí)間、成本、質(zhì)量和控制。
六、OLAP開(kāi)發(fā)
OLAP在線聯(lián)機(jī)分析開(kāi)發(fā)者，負(fù)責(zé)將數(shù)據(jù)從關(guān)系型或非關(guān)系型數(shù)據(jù)源中抽取出來(lái)建立模型，然后創(chuàng)建數(shù)據(jù)訪問(wèn)的用戶界面，提供高性能的預(yù)定義查詢功能。
七、數(shù)據(jù)科學(xué)研究
數(shù)據(jù)科學(xué)家是一個(gè)全新的工種，能夠?qū)⑵髽I(yè)的數(shù)據(jù)和技術(shù)轉(zhuǎn)化為企業(yè)的商業(yè)價(jià)值。隨著數(shù)據(jù)學(xué)的進(jìn)展，越來(lái)越多的實(shí)際工作將會(huì)直接針對(duì)數(shù)據(jù)進(jìn)行，這將使人類(lèi)認(rèn)識(shí)數(shù)據(jù)，從而認(rèn)識(shí)自然和行為。
八、數(shù)據(jù)預(yù)測(cè)分析
營(yíng)銷(xiāo)部門(mén)經(jīng)常使用預(yù)測(cè)分析預(yù)測(cè)用戶行為或鎖定目標(biāo)用戶。預(yù)測(cè)分析開(kāi)發(fā)者有些場(chǎng)景看上有有些類(lèi)似數(shù)據(jù)科學(xué)家，即在企業(yè)歷史數(shù)據(jù)的基礎(chǔ)上通過(guò)假設(shè)來(lái)測(cè)試閾值并預(yù)測(cè)未來(lái)的表現(xiàn)。
九、企業(yè)數(shù)據(jù)管理
企業(yè)要提高數(shù)據(jù)質(zhì)量必須考慮進(jìn)行數(shù)據(jù)管理，并需要為此設(shè)立數(shù)據(jù)管家職位，這一職位的人員需要能夠利用各種技術(shù)工具匯集企業(yè)周?chē)拇罅繑?shù)據(jù)，并將數(shù)據(jù)清洗和規(guī)范化，將數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)中，成為一個(gè)可用的版本。
十、數(shù)據(jù)安全研究
數(shù)據(jù)安全這一職位，主要負(fù)責(zé)企業(yè)內(nèi)部大型服務(wù)器、存儲(chǔ)、數(shù)據(jù)安全管理工作，并對(duì)網(wǎng)絡(luò)、信息安全項(xiàng)目進(jìn)行規(guī)劃、設(shè)計(jì)和實(shí)施。
第三：大數(shù)據(jù)學(xué)習(xí)線路
大數(shù)據(jù)是對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)、計(jì)算、統(tǒng)計(jì)、分析處理的一系列處理手段，處理的數(shù)據(jù)量通常是TB級(jí)，甚至是PB或EB級(jí)的數(shù)據(jù)，這是傳統(tǒng)數(shù)據(jù)處理手段所無(wú)法完成的，其涉及的技術(shù)有分布式計(jì)算、高并發(fā)處理、高可用處理、集群、實(shí)時(shí)性計(jì)算等，匯集了當(dāng)前IT領(lǐng)域熱門(mén)流行的IT技術(shù)。大數(shù)據(jù)入門(mén)，需要學(xué)習(xí)以下這些知識(shí)點(diǎn)：
1、Java編程技術(shù)
Java編程技術(shù)是大數(shù)據(jù)學(xué)習(xí)的基礎(chǔ)，Java是一種強(qiáng)類(lèi)型語(yǔ)言，擁有極高的跨平臺(tái)能力，可以編寫(xiě)桌面應(yīng)用程序、Web應(yīng)用程序、分布式系統(tǒng)和嵌入式系統(tǒng)應(yīng)用程序等，是大數(shù)據(jù)工程師最喜歡的編程工具，因此，想學(xué)好大數(shù)據(jù)，掌握J(rèn)ava基礎(chǔ)是必不可少的。
2、Linux命令
對(duì)于大數(shù)據(jù)開(kāi)發(fā)通常是在Linux環(huán)境下進(jìn)行的，相比Linux操作系統(tǒng)，Windows操作系統(tǒng)是封閉的操作系統(tǒng)，開(kāi)源的大數(shù)據(jù)軟件很受限制，因此，想從事大數(shù)據(jù)開(kāi)發(fā)相關(guān)工作，還需掌握Linux基礎(chǔ)操作命令。
3、Hadoop
Hadoop是大數(shù)據(jù)開(kāi)發(fā)的重要框架，其核心是HDFS和MapReduce，HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，MapReduce為海量的數(shù)據(jù)提供了計(jì)算，因此，需要重點(diǎn)掌握，除此之外，還需要掌握Hadoop集群、Hadoop集群管理、YARN以及Hadoop高級(jí)管理等相關(guān)技術(shù)與操作!
4、Hive
Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供簡(jiǎn)單的sql查詢功能，可以將sql語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行，十分適合數(shù)據(jù)倉(cāng)庫(kù)的統(tǒng)計(jì)分析。對(duì)于Hive需掌握其安裝、應(yīng)用及高級(jí)操作等。
5、Avro與Protobuf
Avro與Protobuf均是數(shù)據(jù)序列化系統(tǒng)，可以提供豐富的數(shù)據(jù)結(jié)構(gòu)類(lèi)型，十分適合做數(shù)據(jù)存儲(chǔ)，還可進(jìn)行不同語(yǔ)言之間相互通信的數(shù)據(jù)交換格式，學(xué)習(xí)大數(shù)據(jù)，需掌握其具體用法。
6、ZooKeeper
ZooKeeper是Hadoop和Hbase的重要組件，是一個(gè)為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括：配置維護(hù)、域名服務(wù)、分布式同步、組件服務(wù)等，在大數(shù)據(jù)開(kāi)發(fā)中要掌握Z(yǔ)ooKeeper的常用命令及功能的實(shí)現(xiàn)方法。
7、HBase
HBase是一個(gè)分布式的、面向列的開(kāi)源數(shù)據(jù)庫(kù)，它不同于一般的關(guān)系數(shù)據(jù)庫(kù)，更適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，大數(shù)據(jù)開(kāi)發(fā)需掌握HBase基礎(chǔ)知識(shí)、應(yīng)用、架構(gòu)以及高級(jí)用法等。
8、phoenix
phoenix是用Java編寫(xiě)的基于JDBC API操作HBase的開(kāi)源SQL引擎，其具有動(dòng)態(tài)列、散列加載、查詢服務(wù)器、追蹤、事務(wù)、用戶自定義函數(shù)、二級(jí)索引、命名空間映射、數(shù)據(jù)收集、行時(shí)間戳列、分頁(yè)查詢、跳躍查詢、視圖以及多租戶的特性，大數(shù)據(jù)開(kāi)發(fā)需掌握其原理和使用方法。
9、Redis
Redis是一個(gè)key-value存儲(chǔ)系統(tǒng)，其出現(xiàn)很大程度補(bǔ)償了memcached這類(lèi)key/value存儲(chǔ)的不足，在部分場(chǎng)合可以對(duì)關(guān)系數(shù)據(jù)庫(kù)起到很好的補(bǔ)充作用，它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客戶端，使用很方便，大數(shù)據(jù)開(kāi)發(fā)需掌握Redis的安裝、配置及相關(guān)使用方法。
10、Flume
Flume是一款高可用、高可靠、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類(lèi)數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù);同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫(xiě)到各種數(shù)據(jù)接受方(可定制)的能力。大數(shù)據(jù)開(kāi)發(fā)需掌握其安裝、配置以及相關(guān)使用方法。
11、SSM
SSM框架是由Spring、SpringMVC、MyBatis三個(gè)開(kāi)源框架整合而成，常作為數(shù)據(jù)源較簡(jiǎn)單的web項(xiàng)目的框架。大數(shù)據(jù)開(kāi)發(fā)需分別掌握Spring、SpringMVC、MyBatis三種框架的同時(shí)，再使用SSM進(jìn)行整合操作。
12、Kafka
Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，其在大數(shù)據(jù)開(kāi)發(fā)應(yīng)用上的目的是通過(guò)Hadoop的并行加載機(jī)制來(lái)統(tǒng)一線上和離線的消息處理，也是為了通過(guò)集群來(lái)提供實(shí)時(shí)的消息。大數(shù)據(jù)開(kāi)發(fā)需掌握Kafka架構(gòu)原理及各組件的作用和使用方法及相關(guān)功能的實(shí)現(xiàn)。
13、Scala
Scala是一門(mén)多范式的編程語(yǔ)言，大數(shù)據(jù)開(kāi)發(fā)重要框架Spark是采用Scala語(yǔ)言設(shè)計(jì)的，想要學(xué)好Spark框架，擁有Scala基礎(chǔ)是必不可少的，因此，大數(shù)據(jù)開(kāi)發(fā)需掌握Scala編程基礎(chǔ)知識(shí)!
14、Spark
Spark是專(zhuān)為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎，其提供了一個(gè)全面、統(tǒng)一的框架用于管理各種不同性質(zhì)的數(shù)據(jù)集和數(shù)據(jù)源的大數(shù)據(jù)處理的需求，大數(shù)據(jù)開(kāi)發(fā)需掌握Spark基礎(chǔ)、SparkJob、Spark RDD、spark job部署與資源分配、Spark shuffle、Spark內(nèi)存管理、Spark廣播變量、Spark SQL、Spark Streaming以及Spark ML等相關(guān)知識(shí)。
15、Azkaban
Azkaban是一個(gè)批量工作流任務(wù)調(diào)度器，可用于在一個(gè)工作流內(nèi)以一個(gè)特定的順序運(yùn)行一組工作和流程，可以利用Azkaban來(lái)完成大數(shù)據(jù)的任務(wù)調(diào)度，大數(shù)據(jù)開(kāi)發(fā)需掌握Azkaban的相關(guān)配置及語(yǔ)法規(guī)則。
16、Python與數(shù)據(jù)分析
Python是面向?qū)ο蟮木幊陶Z(yǔ)言，擁有豐富的庫(kù)，使用簡(jiǎn)單，應(yīng)用廣泛，在大數(shù)據(jù)領(lǐng)域也有所應(yīng)用，主要可用于數(shù)據(jù)采集、數(shù)據(jù)分析以及數(shù)據(jù)可視化等，因此，大數(shù)據(jù)開(kāi)發(fā)需學(xué)習(xí)一定的Python知識(shí)。
