架構(gòu)
image.png
- 簡(jiǎn)述流程
1.1 客戶端通過http協(xié)議發(fā)送一個(gè)查詢sql給coordinator
1.2 coordinator接收到查詢sql,會(huì)對(duì)該sql進(jìn)行解析，生成查詢執(zhí)行計(jì)劃，并依次生成相應(yīng)的sqlqueryexecution, sqlstageexecution, httpremotetask.
1.3 coordinator將每個(gè)task都分發(fā)到相應(yīng)的task上進(jìn)行執(zhí)行。這個(gè)過程是通過htttpremotetask中的httpclient將創(chuàng)建或者更新task發(fā)送給相應(yīng)task的worker節(jié)點(diǎn)taskresource所提供的restful接口，然后啟動(dòng)一個(gè)sqltaskexecution處理需要處理的split。
1.4 上游的stage的task通過各種connector從相應(yīng)的數(shù)據(jù)源取得數(shù)據(jù)
1.5 下游的stage的task會(huì)讀取上游stage的數(shù)據(jù)結(jié)果，并在內(nèi)存中做相應(yīng)的處理和計(jì)算
1.6 coordinator從分發(fā)task后，就會(huì)一直不斷的從single stage中的task獲取計(jì)算結(jié)果，并將計(jì)算結(jié)果緩存到buffer中，知道所有的計(jì)算都結(jié)束
1.7 client也會(huì)不斷的從coordinator中獲得結(jié)果
安裝
- 下載編譯，配置集群機(jī)器，分發(fā)服務(wù)
- 配置文件：內(nèi)存，超時(shí)，log，jvm等
- connector和 catalog 一一對(duì)應(yīng)，配置catalog信息
- 啟動(dòng)關(guān)閉等
restful
- 基于http rest的分布式調(diào)用
- stagement,query,stage,task各個(gè)級(jí)別的rest服務(wù)及處理
提交查詢
1.cli根據(jù)query sql生成request，通過http rest傳送給coordinator
2.然后用waitfor等待response回調(diào)
