此簡書用來發(fā)布Spark+AI的深夜學堂，每夜一更新！夜空中最亮的星：Spark！
發(fā)簡信
IP屬地：內(nèi)蒙古
-
-
Hive LLAP && workload managementLLAP 起源 說workload management 就要先說LLAP。 LLAP 存在的必要性，為了解決什么問題才被設計出來的呢？ 這東西的由來其實是因為 每次一個查詢...
-
Hive Metastore Thrift客戶端?上篇文章介紹了Metastore Thrift服務端，接下來淺析一下Metastore Thrift客戶端。 1、IMetaStoreClient接口 ?IMetaStor...
-
Metastore格式和分隔符?Hive目前支持的數(shù)據(jù)格式包括Text File、SequenceFile、RCFile、Avro、ORC 和Parquet，同時可以自定義INPUTFORMAT和OUTP...
-
Metastore服務端架構1、HiveMetastore ?HiveMetastore是Metastore的Thrift程序，Thrift文件為hive_metastore.thrift，Thrift...
-
Dispatcher類
Balancer.runOneIteration()--》Dispatcher.dispatchAndCheckContinue()Dispatcher.dispatchAn...
-
HDFS Balancer優(yōu)化參數(shù)
dfs.datanode.max.transfer.threads指定用于在DataNode間傳輸block數(shù)據(jù)的最大線程數(shù)，默認值4096。 dfs.datanode.ba...
-
HDFS Balancer源碼閱讀
1. Dispatcher.init()方法 ?init方法首先會請求DataNode節(jié)點報告 2. Dispatcher.shouldIgnore()方法 ?Decommi...
-
Kyuubi服務源碼解析：OpenSession解析
??在Kyuubi服務源碼解析：FrontendService一文解析HiveConnection的構造函數(shù)時，有一行代碼是openSession()，現(xiàn)在來解析一下。 Cl...
-
Kerberos之Beeline客戶端參數(shù)解析??在Kerberos認證體系下，Beeline客戶端連接HiveServer2的參數(shù)一般是這樣的：beeline -u "jdbc:hive2:// :10000/defa...
-
Spark多租戶場下的一些探討與實現(xiàn)
-
Kyuubi服務源碼解析：FrontendServiceFrontendService（Thrift服務Server端） ??FrontendService負責與客戶端進行交互：維護與客戶端的連接，并將SQL執(zhí)行結果返回至客戶端。...
-
Kyuubi服務源碼解析：KyuubiServer
??Kyuubi服務與HiveServer2服務非常相似，在Kyuubi中很多類的設計和代碼邏輯都參照了HiveServer2（Spark SQL Thrift Server...
