發(fā)簡信
IP屬地：山西
-
從Kylin入門到大數(shù)據(jù)老司機一、UML基礎 為什么要使用UML 對象是面向對象世界的核心。面向對象軟件分析和設計，最基本的需求是高效的識別對象,完成對象識別之后，賦予每個對...
-
開源數(shù)據(jù)流管道-Luigi vs Azkaban vs Oozie vs Airflow
隨著企業(yè)的發(fā)展，他們的工作流程變得更加復雜，越來越多的有著錯綜復雜依賴關系的工作流需要增加監(jiān)控，故障排除。如果沒有明確的血緣關系。就可能出現(xiàn)問責...
-
由一條SQL分析SparkSQL執(zhí)行過程（三）對于下面一段SQL 在由一條SQL分析SparkSQL執(zhí)行過程（二）中，我們分析到Spark如何封裝SessionState，使得用戶只需要通過...
-
由一條SQL分析SparkSQL執(zhí)行過程（二）對于下面一段SQL 在上一部分，我們分析了SparkSQL的建議執(zhí)行流程圖。我們知道一條SQL在Spark執(zhí)行要經歷以下幾步： 用戶提交SQL文...
-
由一條SQL分析SparkSQL執(zhí)行流程(一)現(xiàn)有下面這段SQL語句 這段SQL是從日志表中拿出用戶點擊PV（clk_pv），再去和用戶表關聯(lián)，按照用戶分組，再對點擊pv求和，同時，還過濾了...
-
根據(jù)分子運動預測雙色球走勢（三）-數(shù)據(jù)清洗和機器學習一、問題 在爬取到雙色球開獎的歷史數(shù)據(jù)和開獎當日20-22點的氣候數(shù)據(jù)之后，我們面臨的問題是： 選擇什么樣的算法尋找天氣數(shù)據(jù)和雙色球開獎結果的關...
-
Spark On ElasticSearch初探
一、寫在前面 ElasticSearch 是一個快速索引檢索的庫。在實踐中，我們用Hbase 存儲海量業(yè)務數(shù)據(jù)，再通過ES存儲索引，以這種相互結...
-
Hbase-Spark BulkLoad 解析
一、背景 項目中有需求，要頻繁地、快速地向一個表中初始化數(shù)據(jù)。因此如何加載數(shù)據(jù)，如何提高速度是需要解決的問題。一般來說，作為數(shù)據(jù)存儲系統(tǒng)會分為檢...
-
Scala爬蟲刷博客閱讀量
一、寫在前面 最近嘗試在簡書上寫一些技術博客。每天看著可憐的閱讀量很是著急。剛好最近接觸爬蟲，有需求就有辦法。因此想到能否用爬蟲刷閱讀量呢？答案...