Apache Druid翻譯
發(fā)簡(jiǎn)信
IP屬地：北京
-
-
spark sql 2.3 源碼解讀 - whole stage codegen (8)
whole stage codegen 是spark 2.0 以后引入的新特性，所以在最后單獨(dú)把這一塊拿出來講一下。 相關(guān)背景可以看spark官方的jira：https://...
-
spark sql 2.3 源碼解讀 - Execute (7)
終于到了最后一步執(zhí)行了： 最關(guān)鍵的兩個(gè)函數(shù)便是 doPrepare和 doExecute了。 還是以上一章的sql語(yǔ)句為例，其最終生成的sparkplan為： 看一下Sort...
-
spark sql 2.3 源碼解讀 - Preparations (6)
上一章生成的Physical Plan 還需要經(jīng)過prepareForExecution這一步，做執(zhí)行前的一些準(zhǔn)備工作，代碼如下： 看到上面的 foldLeft 是不是很熟悉...
-
spark sql 2.3 源碼解讀 - Planner (5)
Optimizer得到的是最終的 Logical Plan，Planner 將Logical Plan 轉(zhuǎn)化為 Physical Plan。 planner執(zhí)行plan方法：...
-
spark sql 2.3 源碼解讀 - Optimizer (4)
得到 Resolved Logical Plan 后，將進(jìn)入優(yōu)化階段。后續(xù)執(zhí)行邏輯如下： 下面看一下Optimizer： 看到Optimizer也是繼承自RuleExecut...
-
spark sql 2.3 源碼解讀 - Analyzer (3.2)
根據(jù)上一節(jié)所講，Analyzer最關(guān)鍵的代碼便是rule的實(shí)現(xiàn)了。 先整體看一下rule的集合： 下面的rule會(huì)根據(jù)不同的SessionState而不同(BaseSessi...
-
spark sql 2.3 源碼解讀 - Analyzer (3.1)
本章將介紹analyzer 結(jié)合 catalog 進(jìn)行綁定,生成 Resolved Logical Plan. 上一步得到的 Unresolved Logical Plan將...
-
spark sql 2.3 源碼解讀 - antlr4 && SparkSqlParser (2.3)
? 接著上一節(jié)，繼續(xù)講。還是以 SELECT A.B FROM A 為例。 ? 查看AstBuilder邏輯，遍歷訪問，最終會(huì)訪問到querySpecificat...
-
spark sql 2.3 源碼解讀 - antlr4 && SparkSqlParser (2.2)
? 接著上一節(jié)，我們看一下antlr4。 ? antlr可以根據(jù)輸入自動(dòng)生成語(yǔ)法樹并可視化的顯示出來的開源語(yǔ)法分析器。ANTLR—Another Tool for...
-
spark sql 2.3 源碼解讀 - antlr4 && SparkSqlParser (2.1)
? 接著上一篇文章，本章將介紹 第1步：sql 語(yǔ)句經(jīng)過 SqlParser 解析成 Unresolved Logical Plan ? 當(dāng)我們執(zhí)行： ? ...
-
spark sql 2.3 源碼解讀 - 架構(gòu)概覽 (1)? spark sql 的前身是shark，類似于 hive， 用戶可以基于spark引擎使用sql語(yǔ)句對(duì)數(shù)據(jù)進(jìn)行分析，而不用去編寫程序代碼。 ? 上圖很好的展示...
-
-
spark應(yīng)用調(diào)試(idea 環(huán)境)
spark應(yīng)用調(diào)試(idea 環(huán)境) spark shell可以比較方便的分步執(zhí)行調(diào)試spark應(yīng)用程序，但有時(shí)候不是很方便。下面介紹一種直接在idea中調(diào)試spark程序的...
-
spark源碼開發(fā)調(diào)試(idea環(huán)境)源碼項(xiàng)目調(diào)試 ? 在源代碼項(xiàng)目對(duì)源碼修改后用idea直接進(jìn)行調(diào)試工作 clone源碼到本地并編譯 ? git clone git@gi...
-
spark 源碼編譯發(fā)布
源碼 將項(xiàng)目源碼clone源碼到本地 項(xiàng)目地址：https://github.com/apache/spark 編譯 spark項(xiàng)目同時(shí)支持maven和sbt兩種方式，以ma...
-
歡迎以下內(nèi)容投稿： 大數(shù)據(jù) 優(yōu)秀技術(shù)棧架構(gòu)研究、對(duì)比和測(cè)試； 大數(shù)據(jù) 平臺(tái)級(jí)運(yùn)維踩過的坑以及排查過程； 大數(shù)據(jù) 安全技術(shù)探討；
