系統(tǒng)環(huán)境:CentOS 6.5
內(nèi)存:主節(jié)點(diǎn)4G及以上,其他節(jié)點(diǎn)2G及以上
準(zhǔn)備工作
以下步驟要在所有節(jié)點(diǎn)上執(zhí)行
1.修改hostname
vi /etc/sysconfig/network
2.關(guān)閉SELinux
vi /etc/selinux/config
#修改SELinux=disabled
3.關(guān)閉防火墻
sudo service iptables stop
sudo chkconfig iptables off
sudo chkconfig iptables --list
4.配置網(wǎng)絡(luò)
vi /etc/sysconfig/network-script/ifcfg-eth0
#修改NM_CONTROLLED="no",ONBOOT="yes"
service network restart
#重啟服務(wù)
vi /etc/sysconfig/network-scripts/ifcfg-eth0
#配置靜態(tài)IP
5.修改Hosts文件
127.0.0.1 localhost
192.168.1.101 master
192.168.1.102 slave1
192.168.1.102 slave2
6.配置ssh免登陸
#生成ssh免登陸密鑰
ssh-keygen -t rsa
#執(zhí)行完這個(gè)命令后,會(huì)生成兩個(gè)文件id_rsa(私鑰)、id_rsa.pub(公鑰)
#將公鑰拷貝到要免登陸的機(jī)器上
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#或
ssh-copy-id -i localhost
7.重啟主機(jī)
reboot -f
下載安裝文件
[cloudera-manager]
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera Manager
baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.7.0/
gpgkey =https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1
2.下載CM install
3.下載CM rpms
4.下載CDH Parcel文件,只需要下載
- CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel
- CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1
-
manifest.json
這三個(gè)文件。
注意:.sha1文件后綴更改為.sha,同時(shí)把內(nèi)容只保留hash碼部分。
Cloudera Manager安裝
以下步驟在所有節(jié)點(diǎn)執(zhí)行:
- 將cloudera-manager.repo文件拷貝到所有節(jié)點(diǎn)的/etc/yum.repos.d/文件夾下
- 驗(yàn)證repo文件是否起效
yum list|grep cloudera
#如果列出的不是你安裝的版本,執(zhí)行下面命令重試
yum clean all
yum list | grep cloudera
3.將之前下載的rpms文件拷貝到所有節(jié)點(diǎn)下(任意目錄)
切換到rpms目錄下,執(zhí)行
yum -y install *.rpm
4.將之前下載的Parcel那3個(gè)文件拷貝到/opt/cloudera/parcel-repo目錄下(如果沒有該目錄,請自行創(chuàng)建)
至此,/opt/cloudera/parcel-repo下面有三個(gè)文件: CDH-5.7.0-1.cdh5.7.0.p0.36-el6.parcel
mainfest.json
CDH-5.7.0-1.cdh5.7.0.p0.36-el6.parcel.sha
以下步驟請只在主節(jié)點(diǎn)上執(zhí)行:
1.將下載好的bin文件拷貝到主節(jié)點(diǎn)任意目錄下
2.進(jìn)入該目錄,給bin文件賦予可執(zhí)行權(quán)限,并安裝
sudo chmod +x ./cloudera-manager-installer.bin
./cloudera-manager-installer.bin
CDH集群安裝
CM安裝成功后瀏覽器輸入
http://ip:7180,ip是CM安裝的主機(jī)ip或者主機(jī)名。顯示如下界面,用戶名和密碼都輸入admin,進(jìn)入web管理界面。
1.選擇部署的版本,這里我們選擇免費(fèi)版的就可以了。
2.一直繼續(xù),在選擇添加主機(jī)界面。輸入主機(jī)ip或者主機(jī)名,點(diǎn)擊搜索。

這里如果選擇一系列主機(jī)可以輸入如下的內(nèi)容:
192.168.1.[101-105]
slave[1-3].com.cn
勾選要添加的主機(jī),繼續(xù)下一步
3.選擇存儲(chǔ)庫,選擇我們下好的版本就行了,其他全選無, JDK不需要勾選。
4.提供SSH登陸憑據(jù),由于CDH會(huì)自動(dòng)管理所有主機(jī)間的SSH通訊,所以我們之前并沒有手動(dòng)配置各個(gè)節(jié)點(diǎn)間的SSH免密登錄。在這里統(tǒng)一設(shè)置就行了,設(shè)置好密碼點(diǎn)繼續(xù)。
5.集群安裝,等就好了。
6.安裝Parcel到所有主機(jī)上,時(shí)間會(huì)比較長繼續(xù)等。
7.主機(jī)檢查
8.安裝服務(wù)
CDH5提供了你可能需要的各種服務(wù),需要什么啟動(dòng)什么就行了。這里我選擇了自定義,添加HBase,HDFS,MapReduce和ZooKeeper,這里大家按照自己的需求選。

9.角色分配

10.數(shù)據(jù)庫設(shè)置
CDH默認(rèn)內(nèi)嵌了一個(gè)數(shù)據(jù)庫,如果你需要MySQL或者Oracle請選擇使用自定義數(shù)據(jù)庫,點(diǎn)擊測試連接,成功后點(diǎn)繼續(xù)。

11.審核更改,默認(rèn)就行了,到這里集群已經(jīng)安裝部署完成了,CDH會(huì)自動(dòng)對你選擇的服務(wù)進(jìn)行初始化設(shè)置,你也可以稍后自行開啟。

初始化完成后,將進(jìn)入主頁面
