CDH 升級SPARK2 與 問題

本文基于 CHD 14.2 ,UBUNTU 14.04 進(jìn)行安裝?


注意事項(xiàng): 本文中有chown授權(quán), 千萬不要圖方便直接 chown -R /opt/cloudera? 否則會(huì)發(fā)生你意想不到的驚喜你懂的




開始:以下操作基于主節(jié)點(diǎn):也就是CHD SERVER節(jié)點(diǎn)

1,關(guān)閉集群,關(guān)閉CMS,關(guān)閉CDH AGENT 與SERVER


2,下載文件

下載倉庫:

http://archive.cloudera.com/spark2/parcels/

下載包parcel包(依據(jù)我系統(tǒng)的版本,請下載自己對應(yīng)的版本):

我的spark 版本為2.1

http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-trusty.parcel

http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-trusty.parcel.sha1

http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/manifest.json

3,更名與放置到對應(yīng)目錄

下載完成過后??將?SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-trusty.parcel.sha1?改名為SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-trusty.parcel.sha


這一步比較重要:先將?/opt/cloudera/parcel-repo 下的 mainifest.json 重命名以下 比如 mv manifest.json manifest.json.cdh.bak?


繼續(xù): 將下載的三個(gè)文件放置到 /opt/cloudera/parcel-repo 下面?


將 三個(gè)文件授權(quán)給 cloudera-scm? , 比如:? chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/?


最后效果:?


PARCEL-REPO 目錄效果


4,下載 檢測依賴包(我取的名字,后面會(huì)介紹為啥)

下載倉庫:http://archive.cloudera.com/spark2/csd/


我的地址:http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.1.0.cloudera2.jar


5,放置檢測包到指定位置


將?http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.1.0.cloudera2.jar,下載好過后,放置到


/opt/cloudera/csd中,如果沒有: mkdir -p /opt/cloudera/csd

接著更改授權(quán),命令參考前面授權(quán)?chown -R cloudera-scm:cloudera-scm?/opt/cloudera/csd


效果圖:


6,依次啟動(dòng)? CM SERVER, AGENT , 然后 訪問 7180,啟動(dòng)CMS,啟動(dòng)集群


7,安裝更新


登錄CDH,然后依次選中圖中勾選處 主機(jī)-》PARCEL




檢查更新




我這里因?yàn)橐呀?jīng)安裝好所以是已分配已激活,自行分配激活



來吧,開始安裝啦


看到了么?高興么?



問題: 什么 ? 沒看到?


1,按照本教程重新走一次,特別是啟動(dòng)程序與停止程序步驟

2,特別注意 文件的放置目錄 ,本文只提到了兩個(gè)目錄 /opt/cloudera/csd ,檢測目錄與? /opt/cloudera/parcel-repo 倉庫目錄


好,接著來說說我的問題:

因?yàn)?磁盤掛載關(guān)系,無法將CDH安裝到/opt/下,因?yàn)?/opt被掛到了根/ 目錄下,磁盤空間有限

總之/opt/cloudera 為 cdh默認(rèn)指定目錄 ,我沒有安裝過去


而是重置了目錄:

例如:


點(diǎn)擊配置




這是測試環(huán)境,我使用的是默認(rèn)目錄,注意 標(biāo)記1,如果更改,請重啟所有代理,這里的代碼是指:cdh的 agent?


如果你更改了,OK? ,想要升級SPARK的話 ,那么上述所有的/opt/cloudera 都要更改為你配置的指定目錄


但是:?。。。。。。。。。。。。栴}來了,升級spark2的時(shí)候有一個(gè)csd目錄,是沒在這里的,也就是無法配置的。


所以 如果你要升級,csd文件目錄/opt/cloudera/csd 你必須手動(dòng)創(chuàng)建,然后把jar放進(jìn)去

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容