發(fā)簡(jiǎn)信
IP屬地：北京
-
How does Index Source work in Presto
Overview Presto Index Source is an optimizing strategy based on the inde...
-
Presto連接器-grouped_execution功能要實(shí)現(xiàn)的接口
presto連接器-grouped_execution功能要實(shí)現(xiàn)的接口 原理 分組執(zhí)行是presto在2017年就支持的功能，它的原理是： 根據(jù)...
-
Presto調(diào)度模塊源碼閱讀（2）-服務(wù)端響應(yīng)-資源組選擇
當(dāng)用戶(hù)提交一個(gè)SQL作業(yè)時(shí)，Presto客戶(hù)端會(huì)封裝一個(gè)Request通過(guò)Restful接口將請(qǐng)求發(fā)送到服務(wù)端，下面就詳細(xì)講解一下服務(wù)端的處理過(guò)...
-
Presto調(diào)度模塊源碼閱讀（1）-Client提交請(qǐng)求當(dāng)客戶(hù)端以控制臺(tái)Console、腳本--execute等方式提交SQL作業(yè)時(shí)，Presto的Client會(huì)將作業(yè)相關(guān)的參數(shù)和腳本封裝成一個(gè)...
-
Spark-streaming-2.0-Kafka數(shù)據(jù)接收并行度源碼學(xué)習(xí)前段時(shí)間學(xué)習(xí)了spark streaming采用kafka作為數(shù)據(jù)源時(shí)，數(shù)據(jù)接收并行度這一部分的源代碼。本文主要將學(xué)習(xí)的體會(huì)記錄一下，有理解不對(duì)...
-
spark2.0-executor分配機(jī)制源碼學(xué)習(xí)本文主要講解一下spark2.0版本Spark-StandAlone模式下executor的分配過(guò)程和分配機(jī)制。 跟蹤這一塊的源代碼應(yīng)該從Spa...
-
Spark2.0 scheduler模塊源碼學(xué)習(xí)Scheduler模塊主要負(fù)責(zé)stage的劃分，以及job的調(diào)度及submit。是整個(gè)spark計(jì)算流程中比較重要的部分。 ?1.從saveAs...