Strom安裝流程

系統(tǒng)版本:CentOS 6.5
Storm版本:0.9.2穩(wěn)定版

安裝Storm前,需要做好以下兩個(gè)準(zhǔn)備工作:
有問題可以點(diǎn)擊鏈接進(jìn)入我之前的文章查看

  1. ZooKeeper集群的部署
  2. Storm依賴軟件的安裝

一. 解壓安裝包apache-storm-0.9.2-incubating.tar

解壓apache-storm-0.9.2-incubating.tar安裝包

二. 創(chuàng)建項(xiàng)目目錄并將解壓目錄移入項(xiàng)目目錄中

mkdir /home/host1/storm
mv apache-storm-0.9.2-incubating /home/host1/storm/

三. 建立狀態(tài)存儲(chǔ)文件并修改Storm配置文件storm.yaml

進(jìn)入apache-storm-0.9.2-incubating目錄

cd apache-storm-0.9.2-incubating
vim conf/storm.yaml

配置內(nèi)容如下:

storm.zookeeper.servers:
    - "storm1"
    - "storm2"
    - "storm3"
nimbus.host: "storm1"
storm.local.dir: "/root/storm2/storm/status"
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

注意:以上為必填的配置項(xiàng),其它配置可以根據(jù)需要填寫查看更多配置。配置必須嚴(yán)格按模板規(guī)則填寫,每行頂頭,前面不允許留有空格,并且“-”列上下必須對齊,這里很容易出錯(cuò)。

四. 配置環(huán)境變量并使環(huán)境變量立即生效

vim /etc/profile

編輯加入如下內(nèi)容:

export STORM_HOME=/home/host1/storm/apache-storm-0.9.2-incubating
export PATH=$STORM_HOME/bin:$PATH

:wq保存退出,使環(huán)境變量立即生效

source /etc/profile

五. 啟動(dòng)Storm集群并檢查相應(yīng)的進(jìn)程

在nimbus節(jié)點(diǎn)輸入:

storm ui >/dev/null 2>&1 &
//結(jié)果:[2] 12577
storm nimbus >/dev/null 2>&1 &
//結(jié)果:[3] 12737

在supervisor節(jié)點(diǎn)輸入:

storm supervisor >/dev/null 2>&1 &

啟動(dòng)完成后輸入jps查看進(jìn)程情況:

jps

如果在nimbus節(jié)點(diǎn)中包含nimbus、core、QuorumPeerMain、Jps進(jìn)程,supervisor節(jié)點(diǎn)中包含supervisor、QuorumPeerMain、Jps進(jìn)程,則證明storm啟動(dòng)成功。

也可以瀏覽器登錄Storm監(jiān)控頁面更直觀的查看運(yùn)行狀態(tài)。

六. 通過瀏覽器登錄監(jiān)控UI頁面,查看監(jiān)控屬性

瀏覽器打開:http://{nimbus host}:8080

至此,Storm集群安裝完畢并啟動(dòng)。

Storem常見配置項(xiàng)

  • storm.zookeeper.servers:ZooKeeper服務(wù)器列表
  • storm.zookeeper.port:ZooKeeper服務(wù)連接端口
  • storm.local.dir:Storm使用本地系統(tǒng)目錄,存儲(chǔ)少量狀態(tài)信息
  • storm.cluster.mode:集群運(yùn)行模式([distrivuted|local])
  • storm.zookeeper.session.timeout:客戶端連接ZooKeeper超時(shí)時(shí)間
  • nimbus.host:nimbus服務(wù)器地址
  • nimbus.task.timeout.secs:判斷task存活的心跳超時(shí)時(shí)間
  • nimbus.supervisor.timeout.secs:判斷supervisor是否存活的心跳超時(shí)時(shí)間
  • nimbus.task.launch.secs:task啟動(dòng)時(shí)的一個(gè)特殊超時(shí)設(shè)置
  • ui.port:Storm UI的服務(wù)端口,默認(rèn)8080
  • drpc.servers:DRPC的服務(wù)器列表,以便DRPCSpout知道和誰通訊
  • drpc.port:Storm DRPC的服務(wù)端口
  • supervisor.slots.ports:supervisor上能夠運(yùn)行workers的端口列表
  • supervisor.worker.timeout.secs:判斷worker是否存活的心跳超時(shí)時(shí)間
  • supervisor.worker.start.timeout.secs:supervisor初始心跳超時(shí)
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • Strom集群結(jié)構(gòu)是有一個(gè)主節(jié)點(diǎn)(nimbus)和多個(gè)工作節(jié)點(diǎn)(supervisor)組成的主從結(jié)構(gòu),主節(jié)點(diǎn)通過配...
    看山遠(yuǎn)兮閱讀 3,012評論 0 7
  • 目錄 場景假設(shè) 調(diào)優(yōu)步驟和方法 Storm 的部分特性 Storm 并行度 Storm 消息機(jī)制 Storm UI...
    mtide閱讀 17,283評論 30 60
  • Date: Nov 17-24, 2017 1. 目的 積累Storm為主的流式大數(shù)據(jù)處理平臺(tái)對實(shí)時(shí)數(shù)據(jù)處理的相關(guān)...
    一只很努力爬樹的貓閱讀 2,330評論 0 4
  • 背景 OpenShift是目前比較主流的基于Kubernetes的容器云解決方案,OpenShift在kubern...
    小白_18M閱讀 1,323評論 0 5
  • 我在一個(gè)位于中國農(nóng)村的木板屋里走動(dòng),這木板屋老的很,稍一走動(dòng)便伴隨著不停的吱吱聲,我老了,腿腳不靈便,這木板屋,住...
    萌萌寶貝公主閱讀 522評論 1 1

友情鏈接更多精彩內(nèi)容