一、如何選取到 broadcast join Join 具有 hint 的情況會(huì)調(diào)用 createBroadcastHashJoin(onlyLookingAtHint = ...
IP屬地：天津
-
Spark Join 源碼剖析② - BroadcastHashJoinExec & ShuffledHashJoinExec -
Calcite CBO ② - VolcanoPlanner 之 IterativeRuleDriver一、IterativeRuleQueue 該算法不斷的從 RuleQueue 中取出 Rule 并執(zhí)行，該過程有兩個(gè)退出條件： RuleQueue 空了：沒有 Rule 需要...
-
Calcite CBO ① - 核心流程一、問題 & 目標(biāo) 數(shù)據(jù)庫/大數(shù)據(jù)引擎主要由三部分組成，分別是解析器、優(yōu)化器和執(zhí)行引擎，如下圖所示： 其中，優(yōu)化器在很大程度上決定了性能，其作用好比找到兩點(diǎn)之間的最短路徑。優(yōu)...
-
Flink 作業(yè)生成①：生成 StreamGraph一、作業(yè)生成及提交整體流程 上圖為一個(gè) Flink 作業(yè)的提交流程，主要可以分為以下幾個(gè)步驟： Client 將作業(yè) code 生成 StreamGraph（在 Batch ...
-
Calcite - 看懂 Parser.jj 中的 SqlSelectjavacc 會(huì)根據(jù) parser.jj 中定義的相互穿插的 Token、Java 代碼來自動(dòng)生成 org.apache.calcite.sql.parser.impl.Sq...
-
費(fèi)曼技巧-四步學(xué)習(xí)法
第一步：選擇一個(gè)你想要理解的概念，然后拿出一張白紙，把這個(gè)概念寫在白紙的最上邊 第二步：假象你正要向別人傳授這個(gè)概念，然后在白紙上寫下你對(duì)這個(gè)概念的解釋，就像你在教一位新接觸...
-
Spark Aggregations execution
一、Distinct aggregation 算法 包含 distinct 關(guān)鍵字的 aggregation 由 4 個(gè)物理執(zhí)行步驟組成。我們使用以下 query 來介紹： ...
-
Spring AOP之使用注解創(chuàng)建切面
上節(jié)中我們已經(jīng)定義了Performance接口，他是切面中的切點(diǎn)的一個(gè)目標(biāo)對(duì)象。那么現(xiàn)在就讓我們使用AspectJ注解來定義切面吧。 1.定義切面 下面我們就來定義一場(chǎng)舞臺(tái)劇...
-
Spark 核心 RDD 剖析（上）
本文將通過描述 Spark RDD 的五大核心要素來描述 RDD，若希望更全面了解 RDD 的知識(shí)，請(qǐng)移步 RDD 論文：RDD：基于內(nèi)存的集群計(jì)算容錯(cuò)抽象 Spark 的五...
