本系列專屬github地址:https://github.com/ios122/spark_lagou

前言

我覺得如果動筆,就應該努力地把要說的東西表達清楚.今后一段時間,嘗試下系列博客文章.簡單說,如果心里想表達想分享的,就適當規(guī)劃組織下,使其相對自成體系,以便于感興趣但可能剛好某個領域還不是很熟的人,也能很好地入手.系列文章,我會努力避免過于主觀化的描述,同時吸取以往的經(jīng)驗,盡量給每個系列的文章都設置一個單獨的 github 項目,供查閱參考.

Spark 系列文章規(guī)劃

Spark系列,因為本人并非供職于大型數(shù)據(jù)公司,也未曾在較大數(shù)據(jù)集上實踐過,所以內(nèi)容可能僅供初級入門者參考.目前,我處理過的較大的數(shù)據(jù)集,也僅在百萬條左右,但是也不得不驚嘆 Spark 做為數(shù)據(jù)分析工具的便利性,100w條數(shù)據(jù),在3臺BMR服務器結(jié)點上,復雜查詢一般在十秒以內(nèi).從數(shù)據(jù)分析的工具角度,我覺得 Spark 還是有必要了解的,大多數(shù)時候,基于數(shù)據(jù)的多個維度分析出的結(jié)論,可能比某些抽象的統(tǒng)計數(shù)據(jù),能有說服力.

數(shù)據(jù)源: 拉勾網(wǎng) iOS 職位最近一個月的公開招聘信息

以拉勾網(wǎng) iOS 職位最近一個月的公開招聘信息作為樣本.這是一個樣本,到時我會具體說一下數(shù)據(jù)獲取的方法和思路,還會奉上可用的腳本.

數(shù)據(jù)分析工具:Spark.

Spark是主要分析工具.我前一段時間,看了那本<<Hadoop 權(quán)威指南>>,然后開始了Spark的學習.自己感覺 Spark,可能更符合自己目前階段的需要--小規(guī)模數(shù)據(jù)的即時分析.

數(shù)據(jù)分析平臺: 百度BMR

我會直接基于百度BMR來分析數(shù)據(jù).至今,我沒有試過自己搭建spark開發(fā)環(huán)境,也暫無打算研究.因為我覺得,大數(shù)據(jù)的分析,硬件還是挺貴的,好在現(xiàn)在有云平臺,即開即用,用完釋放掉即可.還有一個原因是,單機版的Spark和分布式的Spark,某些函數(shù)的行為還是有差異的.我看阿里云,也有類似的大數(shù)據(jù)分析平臺,應該也是可以的.

準備事宜

實名認證的百度開發(fā)者賬號,注冊請到 https://login.bce.baidu.com 因為必須是實名認證的百度開發(fā)者賬號,才可以創(chuàng)建 BMR 實例,沒有賬號,可能會影響到你觀察文章的體驗.因為這個實名認證要審核的,最好提前弄.

文章更新具體規(guī)劃

使用Spark分析拉勾網(wǎng)招聘信息(一):準備工作

交代基本背景,動機與必要準別事宜等,為進一步文章鋪墊.

使用Spark分析拉勾網(wǎng)招聘信息(二): 獲取數(shù)據(jù)

使用腳本自動獲取數(shù)據(jù),會涉及數(shù)據(jù)源的分析,腳本編寫思路,以及一個最終可用的腳本和實際采集的完整數(shù)據(jù)附件.

使用Spark分析拉勾網(wǎng)招聘信息(三): BMR 入門

主要講解百度大數(shù)據(jù)平臺BMR的基礎操作與常用工具的使用.當然電腦性能較為強悍的童鞋,可以自己安裝研究下Hadoop,Spark和Zeepline等工具.用BMR,比較省錢,按分鐘計費,一小時 2塊左右,我通常只是有感興趣的數(shù)據(jù)題材時才開啟.順便插一句,以數(shù)據(jù)的視角,自由組合維度來觀察某些自己關心的數(shù)據(jù),真的看出來許多刷新自己認知的真實.不過,考慮到工具的可擴展性,我還是建議掌握下 BMR或者阿里的大數(shù)據(jù)平臺的基礎使用.

使用Spark分析拉勾網(wǎng)招聘信息(四): 幾個常用的腳本與圖片分析結(jié)果

這里,會結(jié)合數(shù)據(jù)結(jié)構(gòu),展示下數(shù)據(jù)分析與提取的基本思路,然后會選幾個角度分析下數(shù)據(jù).方法是根本,簡單了解下,再多看看 spark 和 scala 文檔,我相信大家是可以自由使用Spark來分析自己感興趣的數(shù)據(jù)的.

版權(quán)聲明: iOS122 顏風 署名系列文章,每日 7:20 首發(fā)于微信公眾號 iOS122gg,其他平臺次日10點更新.除各大博客平臺的iOS122官方專欄外,其他任何用途的轉(zhuǎn)載與使用,請務必注明出處!