發(fā)簡信
IP屬地：四川
-
基于SparkSQL實現(xiàn)的一套即席查詢服務(wù)IQL (項目地址：https://github.com/teeyog/IQL) English | 簡體中文 基于SparkSQL實現(xiàn)了一套即...
-
[Spark SQL] 源碼解析之Optimizer
前言 由前面博客我們知道了SparkSql整個解析流程如下： sqlText 經(jīng)過 SqlParser 解析成 Unresolved Logic...
-
[Spark SQL] 源碼解析之Analyzer
前言 由前面博客我們知道了SparkSql整個解析流程如下： sqlText 經(jīng)過 SqlParser 解析成 Unresolved Logic...
-
[Spark SQL] 源碼解析之Parser前言 由上篇博客我們知道了SparkSql整個解析流程如下： sqlText 經(jīng)過 SqlParser 解析成 Unresolved Logic...
-
[Spark SQL] 主要執(zhí)行流程預(yù)備知識 先介紹在Spark SQL中兩個非常重要的數(shù)據(jù)結(jié)構(gòu)：Tree和Rule。 SparkSql的第一件事就是把SQLText解析成語法樹，...
-
Spark metrics實現(xiàn)KafkaSink
背景 監(jiān)控是Spark非常重要的一部分。Spark的運(yùn)行情況是由ListenerBus以及MetricsSystem 來完成的。通過Spark的...
-
Spark 實現(xiàn)MySQL update操作
背景 目前 spark 對 MySQL 的操作只有 Append,Overwrite,ErrorIfExists,Ignore幾種表級別的模式，...
-
spark任務(wù)之Task失敗監(jiān)控
需求 spark應(yīng)用程序中，只要task失敗就發(fā)送郵件，并攜帶錯誤原因。 背景 在spark程序中，task有失敗重試機(jī)制（根據(jù) spark.t...
-
Spark整合HBase（自定義HBase DataSource）
背景 Spark支持多種數(shù)據(jù)源，但是Spark對HBase 的讀寫都沒有相對優(yōu)雅的api，但spark和HBase整合的場景又比較多，故通過sp...