本文基于 CHD 14.2 ,UBUNTU 14.04 進(jìn)行安裝?
注意事項(xiàng): 本文中有chown授權(quán), 千萬不要圖方便直接 chown -R /opt/cloudera? 否則會(huì)發(fā)生你意想不到的驚喜你懂的
開始:以下操作基于主節(jié)點(diǎn):也就是CHD SERVER節(jié)點(diǎn)
1,關(guān)閉集群,關(guān)閉CMS,關(guān)閉CDH AGENT 與SERVER
2,下載文件
下載倉庫:
http://archive.cloudera.com/spark2/parcels/
下載包parcel包(依據(jù)我系統(tǒng)的版本,請下載自己對應(yīng)的版本):
我的spark 版本為2.1
http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-trusty.parcel
http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-trusty.parcel.sha1
http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/manifest.json
3,更名與放置到對應(yīng)目錄
下載完成過后??將?SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-trusty.parcel.sha1?改名為SPARK2-2.1.0.cloudera2-1.cdh5.7.0.p0.171658-trusty.parcel.sha
這一步比較重要:先將?/opt/cloudera/parcel-repo 下的 mainifest.json 重命名以下 比如 mv manifest.json manifest.json.cdh.bak?
繼續(xù): 將下載的三個(gè)文件放置到 /opt/cloudera/parcel-repo 下面?
將 三個(gè)文件授權(quán)給 cloudera-scm? , 比如:? chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/?
最后效果:?

4,下載 檢測依賴包(我取的名字,后面會(huì)介紹為啥)
下載倉庫:http://archive.cloudera.com/spark2/csd/
我的地址:http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.1.0.cloudera2.jar
5,放置檢測包到指定位置
將?http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.1.0.cloudera2.jar,下載好過后,放置到
/opt/cloudera/csd中,如果沒有: mkdir -p /opt/cloudera/csd
接著更改授權(quán),命令參考前面授權(quán)?chown -R cloudera-scm:cloudera-scm?/opt/cloudera/csd
效果圖:

6,依次啟動(dòng)? CM SERVER, AGENT , 然后 訪問 7180,啟動(dòng)CMS,啟動(dòng)集群
7,安裝更新





問題: 什么 ? 沒看到?
1,按照本教程重新走一次,特別是啟動(dòng)程序與停止程序步驟
2,特別注意 文件的放置目錄 ,本文只提到了兩個(gè)目錄 /opt/cloudera/csd ,檢測目錄與? /opt/cloudera/parcel-repo 倉庫目錄
好,接著來說說我的問題:
因?yàn)?磁盤掛載關(guān)系,無法將CDH安裝到/opt/下,因?yàn)?/opt被掛到了根/ 目錄下,磁盤空間有限
總之/opt/cloudera 為 cdh默認(rèn)指定目錄 ,我沒有安裝過去
而是重置了目錄:
例如:


這是測試環(huán)境,我使用的是默認(rèn)目錄,注意 標(biāo)記1,如果更改,請重啟所有代理,這里的代碼是指:cdh的 agent?
如果你更改了,OK? ,想要升級SPARK的話 ,那么上述所有的/opt/cloudera 都要更改為你配置的指定目錄
但是:?。。。。。。。。。。。。栴}來了,升級spark2的時(shí)候有一個(gè)csd目錄,是沒在這里的,也就是無法配置的。
所以 如果你要升級,csd文件目錄/opt/cloudera/csd 你必須手動(dòng)創(chuàng)建,然后把jar放進(jìn)去