CDH5.7.0離線安裝

系統(tǒng)環(huán)境:CentOS 6.5
內(nèi)存:主節(jié)點(diǎn)4G及以上,其他節(jié)點(diǎn)2G及以上

準(zhǔn)備工作

以下步驟要在所有節(jié)點(diǎn)上執(zhí)行

1.修改hostname

vi /etc/sysconfig/network

2.關(guān)閉SELinux

vi /etc/selinux/config
#修改SELinux=disabled

3.關(guān)閉防火墻

sudo service iptables stop
sudo chkconfig iptables off
sudo chkconfig iptables --list

4.配置網(wǎng)絡(luò)

vi /etc/sysconfig/network-script/ifcfg-eth0
#修改NM_CONTROLLED="no",ONBOOT="yes"
service network restart
#重啟服務(wù)
vi /etc/sysconfig/network-scripts/ifcfg-eth0
#配置靜態(tài)IP

5.修改Hosts文件

127.0.0.1          localhost

192.168.1.101  master
192.168.1.102   slave1
192.168.1.102   slave2

6.配置ssh免登陸

#生成ssh免登陸密鑰
ssh-keygen -t rsa
#執(zhí)行完這個(gè)命令后,會(huì)生成兩個(gè)文件id_rsa(私鑰)、id_rsa.pub(公鑰)
#將公鑰拷貝到要免登陸的機(jī)器上
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#或
ssh-copy-id -i localhost

7.重啟主機(jī)

reboot -f

下載安裝文件

1.下載cloudera-manager.repo

[cloudera-manager]
    # Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64                  
    name=Cloudera Manager
    baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.7.0/
    gpgkey =https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera    
    gpgcheck = 1

2.下載CM install
3.下載CM rpms
4.下載CDH Parcel文件,只需要下載

注意:.sha1文件后綴更改為.sha,同時(shí)把內(nèi)容只保留hash碼部分。

Cloudera Manager安裝

以下步驟在所有節(jié)點(diǎn)執(zhí)行:

  1. 將cloudera-manager.repo文件拷貝到所有節(jié)點(diǎn)的/etc/yum.repos.d/文件夾下
  2. 驗(yàn)證repo文件是否起效
yum list|grep cloudera
#如果列出的不是你安裝的版本,執(zhí)行下面命令重試
yum clean all 
yum list | grep cloudera

3.將之前下載的rpms文件拷貝到所有節(jié)點(diǎn)下(任意目錄)
切換到rpms目錄下,執(zhí)行

yum -y install *.rpm

4.將之前下載的Parcel那3個(gè)文件拷貝到/opt/cloudera/parcel-repo目錄下(如果沒有該目錄,請自行創(chuàng)建)
至此,/opt/cloudera/parcel-repo下面有三個(gè)文件: CDH-5.7.0-1.cdh5.7.0.p0.36-el6.parcel
mainfest.json
CDH-5.7.0-1.cdh5.7.0.p0.36-el6.parcel.sha

以下步驟請只在主節(jié)點(diǎn)上執(zhí)行:

1.將下載好的bin文件拷貝到主節(jié)點(diǎn)任意目錄下
2.進(jìn)入該目錄,給bin文件賦予可執(zhí)行權(quán)限,并安裝

sudo chmod +x ./cloudera-manager-installer.bin
./cloudera-manager-installer.bin

CDH集群安裝

CM安裝成功后瀏覽器輸入http://ip:7180,ip是CM安裝的主機(jī)ip或者主機(jī)名。顯示如下界面,用戶名和密碼都輸入admin,進(jìn)入web管理界面。

1.選擇部署的版本,這里我們選擇免費(fèi)版的就可以了。
2.一直繼續(xù),在選擇添加主機(jī)界面。輸入主機(jī)ip或者主機(jī)名,點(diǎn)擊搜索。



這里如果選擇一系列主機(jī)可以輸入如下的內(nèi)容:

192.168.1.[101-105]
slave[1-3].com.cn

勾選要添加的主機(jī),繼續(xù)下一步
3.選擇存儲(chǔ)庫,選擇我們下好的版本就行了,其他全選無, JDK不需要勾選。
4.提供SSH登陸憑據(jù),由于CDH會(huì)自動(dòng)管理所有主機(jī)間的SSH通訊,所以我們之前并沒有手動(dòng)配置各個(gè)節(jié)點(diǎn)間的SSH免密登錄。在這里統(tǒng)一設(shè)置就行了,設(shè)置好密碼點(diǎn)繼續(xù)。
5.集群安裝,等就好了。
6.安裝Parcel到所有主機(jī)上,時(shí)間會(huì)比較長繼續(xù)等。
7.主機(jī)檢查
8.安裝服務(wù)
CDH5提供了你可能需要的各種服務(wù),需要什么啟動(dòng)什么就行了。這里我選擇了自定義,添加HBase,HDFS,MapReduce和ZooKeeper,這里大家按照自己的需求選。



9.角色分配



10.數(shù)據(jù)庫設(shè)置
CDH默認(rèn)內(nèi)嵌了一個(gè)數(shù)據(jù)庫,如果你需要MySQL或者Oracle請選擇使用自定義數(shù)據(jù)庫,點(diǎn)擊測試連接,成功后點(diǎn)繼續(xù)。

11.審核更改,默認(rèn)就行了,到這里集群已經(jīng)安裝部署完成了,CDH會(huì)自動(dòng)對你選擇的服務(wù)進(jìn)行初始化設(shè)置,你也可以稍后自行開啟。

初始化完成后,將進(jìn)入主頁面
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容