發(fā)簡(jiǎn)信
IP屬地：重慶
-
從Kylin入門到大數(shù)據(jù)老司機(jī)一、UML基礎(chǔ) 為什么要使用UML 對(duì)象是面向?qū)ο笫澜绲暮诵?。面向?qū)ο筌浖治龊驮O(shè)計(jì)，最基本的需求是高效的識(shí)別對(duì)象,完成對(duì)象識(shí)別之后，賦予每個(gè)對(duì)...
-
開源數(shù)據(jù)流管道-Luigi vs Azkaban vs Oozie vs Airflow
隨著企業(yè)的發(fā)展，他們的工作流程變得更加復(fù)雜，越來(lái)越多的有著錯(cuò)綜復(fù)雜依賴關(guān)系的工作流需要增加監(jiān)控，故障排除。如果沒(méi)有明確的血緣關(guān)系。就可能出現(xiàn)問(wèn)責(zé)...
-
由一條SQL分析SparkSQL執(zhí)行過(guò)程（三）對(duì)于下面一段SQL 在由一條SQL分析SparkSQL執(zhí)行過(guò)程（二）中，我們分析到Spark如何封裝SessionState，使得用戶只需要通過(guò)...
-
由一條SQL分析SparkSQL執(zhí)行過(guò)程（二）對(duì)于下面一段SQL 在上一部分，我們分析了SparkSQL的建議執(zhí)行流程圖。我們知道一條SQL在Spark執(zhí)行要經(jīng)歷以下幾步： 用戶提交SQL文...
-
由一條SQL分析SparkSQL執(zhí)行流程(一)現(xiàn)有下面這段SQL語(yǔ)句 這段SQL是從日志表中拿出用戶點(diǎn)擊PV（clk_pv），再去和用戶表關(guān)聯(lián)，按照用戶分組，再對(duì)點(diǎn)擊pv求和，同時(shí)，還過(guò)濾了...
-
根據(jù)分子運(yùn)動(dòng)預(yù)測(cè)雙色球走勢(shì)（三）-數(shù)據(jù)清洗和機(jī)器學(xué)習(xí)一、問(wèn)題 在爬取到雙色球開獎(jiǎng)的歷史數(shù)據(jù)和開獎(jiǎng)當(dāng)日20-22點(diǎn)的氣候數(shù)據(jù)之后，我們面臨的問(wèn)題是： 選擇什么樣的算法尋找天氣數(shù)據(jù)和雙色球開獎(jiǎng)結(jié)果的關(guān)...
-
Spark On ElasticSearch初探
一、寫在前面 ElasticSearch 是一個(gè)快速索引檢索的庫(kù)。在實(shí)踐中，我們用Hbase 存儲(chǔ)海量業(yè)務(wù)數(shù)據(jù)，再通過(guò)ES存儲(chǔ)索引，以這種相互結(jié)...
-
Hbase-Spark BulkLoad 解析
一、背景 項(xiàng)目中有需求，要頻繁地、快速地向一個(gè)表中初始化數(shù)據(jù)。因此如何加載數(shù)據(jù)，如何提高速度是需要解決的問(wèn)題。一般來(lái)說(shuō)，作為數(shù)據(jù)存儲(chǔ)系統(tǒng)會(huì)分為檢...
-
Scala爬蟲刷博客閱讀量
一、寫在前面 最近嘗試在簡(jiǎn)書上寫一些技術(shù)博客。每天看著可憐的閱讀量很是著急。剛好最近接觸爬蟲，有需求就有辦法。因此想到能否用爬蟲刷閱讀量呢？答案...