Elasticsearch Search Phase Debug 詳細(xì)記錄

Debug說明
  • 記錄ES數(shù)據(jù)搜索的整個(gè)debug流程,具體細(xì)節(jié)沒有作過多的解釋說明
  • Debug的索引,設(shè)置2shard、0replicas,便于理解每個(gè)分片的執(zhí)行主線
  • ES version:5.6.16
  • 一個(gè)ES節(jié)點(diǎn)(master and data)
Debug記錄

接著往下Step Over,則可完成主體的執(zhí)行流程。到這里,整個(gè)Search的執(zhí)行流程主線梳理完成,簡單小記下其中比較核心的知識(shí)點(diǎn):

  • 從代碼中可明顯的看出,ES的Search分為query和fetch兩個(gè)階段;query階段從查詢涉及的每個(gè)分片中獲取滿足條件的docIdsList,然后對此進(jìn)行合并且排序篩選出需要的docIdsToLoad,最后fetch階段根據(jù)docIdsToLoad去查詢涉及的每個(gè)分片,獲取最終的結(jié)果
  • ES的搜索類型包括QUERY_THEN_FETCH、QUERY_AND_FETCH、DFS_QUERY_THEN_FETCH三種;其中QUERY_THEN_FETCH是ES默認(rèn)的查詢方式;如果想要獲取更準(zhǔn)確的評分則可以使用DFS_QUERY_THEN_FETCH的查詢方式,但同樣伴隨著更多的資源消耗;QUERY_AND_FETCH適用場景更少,即當(dāng)此次request設(shè)計(jì)的分片數(shù)為1時(shí),在執(zhí)行完query后緊接著執(zhí)行fetch;QUERY_AND_FETCH已經(jīng)被標(biāo)記為deprecated狀態(tài)
  • performPhaseOnShard函數(shù)對request中涉及到的每個(gè)shard,均會(huì)封裝成一個(gè)線程,然后通過ES的search線程池的方式執(zhí)行并管理具體的任務(wù)
  • 每個(gè)分片的執(zhí)行結(jié)果是以channel send response的方式發(fā)送到協(xié)調(diào)節(jié)點(diǎn)參與匯總的工作,協(xié)調(diào)節(jié)點(diǎn)對各分片結(jié)果的處理入口是在InitialSearchPhase類的onShardResult方法中;query階段處理完成,會(huì)緊接著由協(xié)調(diào)節(jié)點(diǎn)發(fā)起,進(jìn)入fetch階段
  • ES中通過implements Runnable,實(shí)現(xiàn)了自己的AbstractRunnable,并override run函數(shù),對其中的執(zhí)行順序進(jìn)行了規(guī)約,比如定義執(zhí)行體為doRun,發(fā)生異常了會(huì)執(zhí)行onFailure,結(jié)束后會(huì)執(zhí)行onAfter;熟悉了這個(gè),有助于理解其中的一些函數(shù)調(diào)用邏輯
  • ES會(huì)把最初的Rest請求給轉(zhuǎn)換成內(nèi)部統(tǒng)一的Transport的方式處理,比如TransportAction,search邏輯對應(yīng)的TransportSearchAction類等
小結(jié)

Elasticsearch Write Debug 詳細(xì)記錄這篇文檔形成呼應(yīng),本篇文檔詳細(xì)的記錄了ES整個(gè)search主線邏輯,也是希望幫助那些剛剛接觸ES源碼的同學(xué)快速上車,早點(diǎn)理清代碼主線,然后再針對某個(gè)具體的模塊做深入的研究。文檔中并沒有涉及到多少硬核知識(shí),主要的重心還是放在了執(zhí)行主線上;ES的源碼比較復(fù)雜,需要日拱一卒堅(jiān)持不斷的研究,與大家一起學(xué)習(xí),一起進(jìn)步

硬核文檔推薦
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容