背景:
隨著公司各項(xiàng)業(yè)務(wù)的快速發(fā)展與擴(kuò)張,服務(wù)器和各種應(yīng)用系統(tǒng)隨之而增加,同時(shí)對應(yīng)用系統(tǒng)、服務(wù)器的穩(wěn)定性,可持續(xù)性提出了更高的要求,公司希望搭建一套綜合的分析與監(jiān)控系統(tǒng),為各個(gè)部分提供決策支持。
需要解決的問題:
(1)數(shù)據(jù)孤島問題,數(shù)據(jù)分散在不同的業(yè)務(wù)系統(tǒng)當(dāng)中;
(2)服務(wù)器日志信息如何有效搜集與存儲;
(3)業(yè)務(wù)部門分析需求不固定,經(jīng)常有新的需求提出,如何滿足各部門的需求;
(4)基于上面的問題如何快速搭建多源的可視化分析系統(tǒng);
技術(shù)選型與整體架構(gòu)設(shè)計(jì):

(方案一:業(yè)務(wù)數(shù)據(jù)ETL,基于數(shù)倉架構(gòu)模式)

(方案二:采用數(shù)據(jù)直接模式)
(1)日志采集主要通過logstash來采集,然后存儲到搜索引擎中;
(2)業(yè)務(wù)系統(tǒng)數(shù)據(jù)可以采用兩種方案架構(gòu)第一種是建設(shè)數(shù)倉,將不同數(shù)據(jù)匯集到數(shù)倉中;第二種:采用直連的方式直接對接大數(shù)據(jù)分析平臺;
(3)大數(shù)據(jù)可視化分析采用NBI大數(shù)據(jù)可視化分析平臺,可以實(shí)現(xiàn)多源數(shù)據(jù)分析,能很好的支持Elasticsearch,關(guān)系型數(shù)據(jù)庫,大數(shù)據(jù)存儲平臺的數(shù)據(jù)接入;通過拖拽式和高度靈活的布局模式,可以快速構(gòu)建各類可視化分析報(bào)告應(yīng)用;通過權(quán)限控制,設(shè)置編輯與訪問權(quán)限,保障企業(yè)數(shù)據(jù)資產(chǎn)的安全有效利用;
(4)最終通過NBI大數(shù)據(jù)可視化分析平臺構(gòu)建各類數(shù)據(jù)分析應(yīng)用,輸出給對應(yīng)部門人員使用。
注意事項(xiàng):
(1)Elasticsearch需要安裝一個(gè)sql插件elasticsearch-sql,根據(jù)es對應(yīng)版本下載插件,便于做交互式分析;
(2)NBI大數(shù)據(jù)平臺中,目前對Elasticsearch支持的建模方式為SQL建模
操作步驟:
(1)在NBI大數(shù)據(jù)平臺中,通過數(shù)據(jù)管理模塊,添加Elasticsearch數(shù)據(jù)源;

(2)測試連接,檢驗(yàn)是否能正常連接到Elasticsearch

(3)連接成功,通過SQL建立工作表模型

(4)構(gòu)建數(shù)據(jù)報(bào)告:

(5)設(shè)置訪問權(quán)限:

以上案例通過NBI大數(shù)據(jù)可視化工具(nbi.easydatavis.com:8033)完成