一、如何選取到 broadcast join Join 具有 hint 的情況會調用 createBroadcastHashJoin(onlyLookingAtHint = ...
IP屬地：安徽
-
Spark Join 源碼剖析② - BroadcastHashJoinExec & ShuffledHashJoinExec -
Calcite CBO ② - VolcanoPlanner 之 IterativeRuleDriver一、IterativeRuleQueue 該算法不斷的從 RuleQueue 中取出 Rule 并執(zhí)行，該過程有兩個退出條件： RuleQueue 空了：沒有 Rule 需要...
-
Calcite CBO ① - 核心流程一、問題 & 目標 數(shù)據庫/大數(shù)據引擎主要由三部分組成，分別是解析器、優(yōu)化器和執(zhí)行引擎，如下圖所示： 其中，優(yōu)化器在很大程度上決定了性能，其作用好比找到兩點之間的最短路徑。優(yōu)...
-
Flink 作業(yè)生成①：生成 StreamGraph一、作業(yè)生成及提交整體流程 上圖為一個 Flink 作業(yè)的提交流程，主要可以分為以下幾個步驟： Client 將作業(yè) code 生成 StreamGraph（在 Batch ...
-
Calcite - 看懂 Parser.jj 中的 SqlSelectjavacc 會根據 parser.jj 中定義的相互穿插的 Token、Java 代碼來自動生成 org.apache.calcite.sql.parser.impl.Sq...
-
費曼技巧-四步學習法
第一步：選擇一個你想要理解的概念，然后拿出一張白紙，把這個概念寫在白紙的最上邊 第二步：假象你正要向別人傳授這個概念，然后在白紙上寫下你對這個概念的解釋，就像你在教一位新接觸...
-
Spark Aggregations execution
一、Distinct aggregation 算法 包含 distinct 關鍵字的 aggregation 由 4 個物理執(zhí)行步驟組成。我們使用以下 query 來介紹： ...
-
Spring AOP之使用注解創(chuàng)建切面
上節(jié)中我們已經定義了Performance接口，他是切面中的切點的一個目標對象。那么現(xiàn)在就讓我們使用AspectJ注解來定義切面吧。 1.定義切面 下面我們就來定義一場舞臺劇...
-
Spark 核心 RDD 剖析（上）
本文將通過描述 Spark RDD 的五大核心要素來描述 RDD，若希望更全面了解 RDD 的知識，請移步 RDD 論文：RDD：基于內存的集群計算容錯抽象 Spark 的五...
