Jstorm 初探

http://www.jstorm.io/
https://github.com/alibaba/

應(yīng)用場(chǎng)景

==》日志分析,從日志中分析出特定的數(shù)據(jù),并將分析的結(jié)果存入外部存儲(chǔ)器如數(shù)據(jù)庫(kù)。目前,主流日志分析技術(shù)就使用JStorm或Storm
管道系統(tǒng), 將一個(gè)數(shù)據(jù)從一個(gè)系統(tǒng)傳輸?shù)搅硗庖粋€(gè)系統(tǒng), 比如將數(shù)據(jù)庫(kù)同步到Hadoop
==》消息轉(zhuǎn)化器, 將接受到的消息按照某種格式進(jìn)行轉(zhuǎn)化,存儲(chǔ)到另外一個(gè)系統(tǒng)如消息中間件
==》統(tǒng)計(jì)分析器, 從日志或消息中,提煉出某個(gè)字段,然后做count或sum計(jì)算,最后將統(tǒng)計(jì)值存入外部存儲(chǔ)器。中間處理過(guò)程可能更復(fù)雜。
==》實(shí)時(shí)推薦系統(tǒng), 將推薦算法運(yùn)行在jstorm中,達(dá)到秒級(jí)的推薦效果


Paste_Image.png

Jstorm 結(jié)構(gòu)圖

各種組件代表的含義

Nimbus: 資源調(diào)度角色
Supervisor: 接受nimubs 任務(wù)安排,啟動(dòng)任務(wù)
Worker: 進(jìn)程
Executor: 執(zhí)行線程
Task: 執(zhí)行邏輯單元(Spout,Bolt)

Paste_Image.png
安裝Jstorm

還是官網(wǎng)全

http://120.25.204.125/QuickStart_cn/Deploy/Standalone.html
(1)解壓安裝包
(2)配置文件 storm.yaml

 storm.zookeeper.servers:
     - "master"
     - "slave1"
     - "slave2"
 storm.zookeeper.root: "/jstorm"

 cluster.name: "chh_test"

 nimbus.host: "master"
 storm.local.dir: "%JSTORM_HOME%/data"
 supervisor.slots.ports:
    - 6800
    - 6801
    - 6802
    - 6803

在當(dāng)前機(jī)器,一般是nimbus,也就是提交jar包的機(jī)器上執(zhí)行如下命
令:

mkdir ~/.jstorm
cp storm.yaml ~/.jstorm/

(3)啟動(dòng)zookeeper ./bin/zkServer.sh start
(4)確保安裝了python以上 和java7.0以上
(5)配置storm ui管理界面
拷貝war包到webapp目錄
創(chuàng)建軟鏈文件,作為默認(rèn)項(xiàng)目

mv ROOT ROOT.old
ln -s jstorm-ui-2.1.1 ROOT

(5)啟動(dòng)Jstorm

#主節(jié)點(diǎn)
nohup bin/jstorm nimbus & 
#從節(jié)點(diǎn)
nohup bin/jstorm supervisor &

查看是否啟動(dòng)

Paste_Image.png
Paste_Image.png

查看結(jié)果
http://192.168.0.200:8080/

Paste_Image.png
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • Spring Cloud為開(kāi)發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見(jiàn)模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn),斷路器,智...
    卡卡羅2017閱讀 136,533評(píng)論 19 139
  • Date: Nov 17-24, 2017 1. 目的 積累Storm為主的流式大數(shù)據(jù)處理平臺(tái)對(duì)實(shí)時(shí)數(shù)據(jù)處理的相關(guān)...
    一只很努力爬樹(shù)的貓閱讀 2,325評(píng)論 0 4
  • 目錄 場(chǎng)景假設(shè) 調(diào)優(yōu)步驟和方法 Storm 的部分特性 Storm 并行度 Storm 消息機(jī)制 Storm UI...
    mtide閱讀 17,274評(píng)論 30 60
  • 【一】 在終點(diǎn)前,我用倒退著沖過(guò)終點(diǎn)線的方式完成了第三日的賽程。我用這種前無(wú)古人后無(wú)來(lái)者的獨(dú)特方式慶祝自己從煉獄回...
    林春生閱讀 1,554評(píng)論 7 13
  • 錢(qián)影也沒(méi)想到自己還能死里逃生,感概之余,她問(wèn)李泉生:"我們接下來(lái)怎么辦?"李泉生抹了一把臉上的不知道是汗水還是雨水...
    笑君殺手閱讀 315評(píng)論 0 0

友情鏈接更多精彩內(nèi)容