整體架構(gòu)
Druid集群是由一組扮演不同角色的，功能不同的節(jié)點(diǎn)組成的，我們先從這幅圖介紹一下幾類節(jié)點(diǎn)，以及它們之間的通信方式。
節(jié)點(diǎn)類型
- Broker：接收客戶端的查詢請(qǐng)求；轉(zhuǎn)發(fā)查詢到Realtime和Historical節(jié)點(diǎn)；接收查詢結(jié)果并進(jìn)行合并，發(fā)回給客戶端。Broker通過Zookeeper確定Realtime和Historical節(jié)點(diǎn)是否存在。
- Indexing Service：在將批量和實(shí)時(shí)數(shù)據(jù)導(dǎo)入系統(tǒng)時(shí)，將數(shù)據(jù)轉(zhuǎn)換為Druid的索引結(jié)構(gòu)保存在系統(tǒng)中。
- Coordinator：監(jiān)控Historical節(jié)點(diǎn)，以確保數(shù)據(jù)的可靠性；協(xié)調(diào)每個(gè)Historical節(jié)點(diǎn)加載的數(shù)據(jù)塊，讀取Zookeeper來判斷存在的Historical節(jié)點(diǎn)，并通過創(chuàng)建Zookeeper的標(biāo)識(shí)，告知Historical進(jìn)行加載或釋放數(shù)據(jù)塊。
- Historial：處理歷史（非實(shí)時(shí)）數(shù)據(jù)的存儲(chǔ)和查詢，和數(shù)據(jù)存儲(chǔ)介質(zhì)緊密聯(lián)系，響應(yīng)Broker的查詢請(qǐng)求，并將查詢到的結(jié)構(gòu)返回給Broker。在Zookeeper中記錄每個(gè)Historical節(jié)點(diǎn)保存的數(shù)據(jù)塊。
- Realtime：將實(shí)時(shí)數(shù)據(jù)導(dǎo)入到系統(tǒng)中。
外部依賴
- Zookeeper：各節(jié)點(diǎn)之間通信的主要方式。
- Coordinator節(jié)點(diǎn)和Historical節(jié)點(diǎn)之間的數(shù)據(jù)塊加載和釋放
- Realtime節(jié)點(diǎn)和Historical節(jié)點(diǎn)之間的數(shù)據(jù)塊消息發(fā)布
- Coordinator等的leader選舉
- Indexing服務(wù)任務(wù)的管理
- MySQL：用于Druid元數(shù)據(jù)的保存。
- Deep Storage： 數(shù)據(jù)的實(shí)際存儲(chǔ)。在Druid中的數(shù)據(jù)塊稱為segment，segment存儲(chǔ)在Deep Storage中。
