Storm集群的搭建

版本1.1.1
解壓storm的tar包到指定的目錄
然后修改配置文件



yaml配置文件的格式要求
1,大小寫敏感;
2,使用縮進(jìn)代表層級(jí)關(guān)系;
3,縮進(jìn)只能使用空格,不能使用TAB,不要求空格個(gè)數(shù),只需要相同層級(jí)左對(duì)齊(一般2個(gè)或4個(gè)空格)



首先修改zookeeper的地址,然后是nimbus的節(jié)點(diǎn),其中一個(gè)是主節(jié)點(diǎn),還有storm本地存儲(chǔ)目錄,管理界面的端口號(hào)。supervisor中進(jìn)程的端口號(hào),一個(gè)端口號(hào)對(duì)應(yīng)著一個(gè)slot,也就是進(jìn)程,根據(jù)實(shí)際需求添加或者減少。
注意短橫線和冒號(hào)后邊有空格

配置好之后分發(fā)到其它節(jié)點(diǎn)上:


nimbus節(jié)點(diǎn)的啟動(dòng),在storm目錄下運(yùn)行:

nohup bin/storm nimbus >/dev/null 2>&1 &

啟動(dòng)nimbus節(jié)點(diǎn)之后啟動(dòng)supervisor,supervisor節(jié)點(diǎn)相當(dāng)于Hadoop中的DataNode節(jié)點(diǎn)。

supervisor節(jié)點(diǎn)的啟動(dòng):

nohup bin/storm supervisor >/dev/null 2>&1 &

管理界面也是一個(gè)進(jìn)程需要啟動(dòng):

nohup bin/storm ui >/dev/null 2>&1 &

啟動(dòng)日志記錄進(jìn)程(每臺(tái)機(jī)器都需要啟動(dòng)):

nohup bin/storm logviewer >/dev/null 2>&1 &

然后其它節(jié)點(diǎn)上也啟動(dòng)nimbus和supervisor進(jìn)程:
注意命令是在storm目錄下執(zhí)行


根據(jù)配置文件storm.yaml中的ui端口號(hào),訪問storm的管理界面:


可以看到,之前配置的每個(gè)節(jié)點(diǎn)上4個(gè)slot,3個(gè)節(jié)點(diǎn)一共12個(gè)slot,主節(jié)點(diǎn)是node-1,也就是正在使用的Nimbus。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • Strom集群結(jié)構(gòu)是有一個(gè)主節(jié)點(diǎn)(nimbus)和多個(gè)工作節(jié)點(diǎn)(supervisor)組成的主從結(jié)構(gòu),主節(jié)點(diǎn)通過配...
    看山遠(yuǎn)兮閱讀 3,012評(píng)論 0 7
  • storm簡介 名詞解釋: spout,讀取原始數(shù)據(jù)為bolt提供數(shù)據(jù) bolt ,從spout或其它bolt接收...
    盜夢者_(dá)56f2閱讀 1,413評(píng)論 2 1
  • 背景 OpenShift是目前比較主流的基于Kubernetes的容器云解決方案,OpenShift在kubern...
    小白_18M閱讀 1,323評(píng)論 0 5
  • 目錄 場景假設(shè) 調(diào)優(yōu)步驟和方法 Storm 的部分特性 Storm 并行度 Storm 消息機(jī)制 Storm UI...
    mtide閱讀 17,283評(píng)論 30 60
  • 微信支付集成 前段時(shí)間,公司突然要在App中集成支付功能。毫無意外的選擇了支付寶、微信 支付寶,這里就不多說了。按...
    wangjun閱讀 738評(píng)論 0 2

友情鏈接更多精彩內(nèi)容