? ? 由于使用apache hadoop進(jìn)行部署，部署步驟繁多，管理運(yùn)維成本較高，于是使用Cloudera Manager進(jìn)行部署、管理hadoop集群，能夠加快部署，減少運(yùn)維成功，同時(shí)支持其他集群的部署和管理，如：kafka、zookeeper、spark等。

前言

? ??本文檔的搭建說明是基于centos7、jdk8、cdh5.15.1、cloudera manager5.15.1，部署節(jié)點(diǎn)為3個(gè)對(duì)應(yīng)的hostname為node1、node2和node3。

下載資源

下載cloudera manager包

????訪問下載地址：https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.1/RPMS/x86_64/，下載如下圖所示紅框中的文件：

訪問下載地址：https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/，下載如下圖所示紅框中文件：

下載CDH包

????訪問下載地址：http://archive.cloudera.com/cdh5/parcels/5.15.1/，下載如下圖所示紅框中的文件：

下面從如下幾個(gè)步驟進(jìn)行說明部署：

1.設(shè)置靜態(tài)ip。

2.設(shè)置hostname。

3.關(guān)閉防火墻以及selinux。

4.ssh免密碼登陸。

5.jdk配置。

6.開啟httpd

7.ntp時(shí)間同步配置。

8.mysql配置。

9.cloudera manager配置。

10. cloudera manager界面配置。

設(shè)置靜態(tài)ip

? ? 使用命令："ip a" 查看使用網(wǎng)卡的名稱，本次部署的名稱為：ens192，修改/etc/sysconfig/network-scripts/ifcfg-ens192配置文件，修改內(nèi)容如下紅框中所示：

執(zhí)行命令："service?network?restart"重啟網(wǎng)絡(luò)即可。

設(shè)置hostname

1.執(zhí)行命令"hostnamectl set-hostname yourhostname"修改hostname。

2.執(zhí)行命令"hostname"查看設(shè)置好的hostname

3.在/etc/hosts文件中添加ip->hostname的映射。

關(guān)閉防火墻以及selinux

關(guān)閉防火墻：

1.執(zhí)行命令:"systemctl stop firewalld.service" 停止firewall。

2.執(zhí)行命令："systemctl disable firewalld.service"禁止firewall開機(jī)啟動(dòng)。

3.指定命令："firewall-cmd --state"查看默認(rèn)防火墻狀態(tài)（關(guān)閉后顯示notrunning，開啟后顯示running）。

關(guān)閉selinux：

修改/etc/selinux/config文件中的SELINUX屬性為disabled。

ssh免密設(shè)置

1.在各個(gè)機(jī)器中執(zhí)行命令："ssh-keygen -t rsa"，在~/.ssh路徑下生成id_rsa、id_rsa.pub文件說明生成成功。

2.在node1節(jié)點(diǎn)上執(zhí)行命令："cat id_rsa.pub>>authorized_key"?將node1的公鑰內(nèi)容拷貝到authorized_keys文件。

3.在node2、node3節(jié)點(diǎn)上執(zhí)行命令："ssh-copy-id -i node1"將本節(jié)點(diǎn)的公鑰拷貝到node1機(jī)器上的authorized_keys文件。

4.在node1節(jié)點(diǎn)上執(zhí)行命令："scp ~/.ssh/authorized_keys node2:~/.ssh"、"scp ~/.ssh/authorized_keys node3:~/.ssh"將node1上的authorized_keys文件拷貝到其他節(jié)點(diǎn)。

5.執(zhí)行命令："ssh root@node2" 不需要進(jìn)行密碼驗(yàn)證說明免密成功。

jdk配置

????從官網(wǎng)（http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html）下載jdk8，并傳輸?shù)礁鱾€(gè)節(jié)點(diǎn)，進(jìn)行解壓并設(shè)置jdk的環(huán)境變量，修改/etc/profile文件，修改內(nèi)容如下：

修改之后執(zhí)行命令："source /etc/profile"，使環(huán)境變量生效。如在窗口中執(zhí)行命令："java -version"出現(xiàn)如下圖所示即安裝成功。

開啟httpd

1.執(zhí)行命令："yum install httpd?"進(jìn)行安裝。

2.執(zhí)行命令："systemctl start httpd.service"開啟服務(wù)。

3.執(zhí)行命令："systemctl enable httpd.service?"設(shè)置開機(jī)自啟動(dòng)。

ntp時(shí)間同步服務(wù)配置

????這節(jié)的內(nèi)容就參考：https://www.cnblogs.com/quchunhui/p/7658853.html,本次配置也是參考該博客內(nèi)容進(jìn)行配置的，這里就不把別人的博客粘過來了。

mysql配置

1.下載安裝mysql repo源，執(zhí)行命令："wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm"下載repo源? ?，執(zhí)行命令："rpm -ivh mysql-community-release-el7-5.noarch.rpm"安裝repo源。

2. 執(zhí)行命令："service mysqld restart"重啟mysql服務(wù)。

3.執(zhí)行命令："mysql -u root -p"進(jìn)入mysql命令窗口，創(chuàng)建之后元數(shù)據(jù)存儲(chǔ)所需的數(shù)據(jù)庫，創(chuàng)建的庫如下：

mysql> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

mysql> create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

mysql>create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

mysql>create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

mysql>create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

將這些庫授權(quán)給root用戶，執(zhí)行命令如下：

mysql> grant all on *.* TO 'root'@'%' IDENTIFIED BY '123456'WITH?GRANT?OPTION;

mysql>flush privileges;

mysql > exit;

4.設(shè)置開機(jī)自啟動(dòng)mysql，執(zhí)行命令："chkconfig mysqld on (systemctl enable mysqld.service)".

cloudera manager配置

1.修改cloudera-manager.repo文件，將版本號(hào)添加到該文件中，如下圖所示：

2.將文件拷貝到各個(gè)節(jié)點(diǎn)中，本次搭建使用node1作為cloudera-manager-server節(jié)點(diǎn),其余節(jié)點(diǎn)作為cloudera-manager-agent節(jié)點(diǎn)。

node1節(jié)點(diǎn)上需要的文件：

cloudera-manager-agent-5.15.1-1.cm5151.p0.3.el7.x86_64.rpml??

cloudera-manager-daemons-5.15.1-1.cm5151.p0.3.el7.x86_64.rpml??

cloudera-manager.repol??

cloudera-manager-server-5.15.1-1.cm5151.p0.3.el7.x86_64.rpml??

cloudera-manager-server-db-2-5.15.1-1.cm5151.p0.3.el7.x86_64.rpml?

?enterprise-debuginfo-5.15.1-1.cm5151.p0.3.el7.x86_64.rpml??

其余節(jié)點(diǎn)需要的文件：

cloudera-manager-agent-5.15.1-1.cm5151.p0.3.el7.x86_64.rpml?

cloudera-manager-daemons-5.15.1-1.cm5151.p0.3.el7.x86_64.rpml?

cloudera-manager.repol?

分別在各個(gè)節(jié)點(diǎn)的拷貝路徑下執(zhí)行命令："yum localinstall --nogpgcheck *.rpm"，進(jìn)行安裝rpm相關(guān)文件。

3.移動(dòng)文件，將CDH文件移動(dòng)到/opt/cloudera/parcel-repo路徑下是為了在之后的cloudera manager界面配置時(shí)不需要在線進(jìn)行下載加快配置。執(zhí)行命令如下：

"mv CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel manifest.json /opt/cloudera/parcel-repo/"

"mv CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1?/opt/cloudera/parcel-repo/CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha" #注意這里有重命名

4.下載mysql connector，訪問地址http://www.mysql.com/downloads/connector/j/5.1.html下載mysql jdbc驅(qū)動(dòng)、解壓拷貝到/usr/share/java路徑下并重命名為mysql-connector-java.jar。命令如下：

"tar zxvf mysql-connector-java-5.1.47.tar.gz"

"cp ./mysql-connector-java-5.1.47-bin.jar? /usr/share/java/mysql-connector-java.jar"

5.配置mysql作為cloudera manager的數(shù)據(jù)庫，在node1節(jié)點(diǎn)上執(zhí)行命令："/usr/share/cmf/schema/scm_prepare_database.sh mysql scm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm"

-h：mysql地址。

-u/-p ：數(shù)據(jù)庫用戶名/密碼。

--scm-host：scm-server所在的機(jī)器主機(jī)。

第一個(gè)scm：數(shù)據(jù)庫名。

第二個(gè)scm：創(chuàng)建的mysql用戶的用戶名。

第三個(gè)scm：創(chuàng)建的mysql用戶的密碼。

6.修改cloudera-scm-server和cloudera-scm-agent的jdk環(huán)境變量，server的文件為/etc/default/cloudera-scm-server，agent的文件為/etc/default/cloudera-scm-agent。修改內(nèi)容如下圖所示：

7.啟動(dòng)cloudera-scm-server，執(zhí)行命令："/etc/init.d/cloudera-scm-server start"。

cloudera manager界面配置

????按照上面章節(jié)操作啟動(dòng)cloudera-scm-server等待約1分鐘之后訪問http://192.168.58.130:7180進(jìn)行登錄，用戶名和密碼都為admin，選擇免費(fèi)版，一路next開始安裝，界面如下所示

1.選擇版本

2.為cdh集群安裝指定主機(jī)

3.集群安裝

4.jdk安裝選項(xiàng)，圖中紅框不進(jìn)行勾選

5.選擇單用戶模式

6.ssh免密配置

7.安裝agents

在該過程有可能出現(xiàn)socket.gaierror: [Errno -2] Name or service not known問題，在出錯(cuò)的機(jī)器上執(zhí)行命令“rm -f /usr/bin/host，之后重新安裝即可。

8.安裝parcel

這里因?yàn)橐呀?jīng)將CDH-*文件移動(dòng)到/opt/cloudera/parcel-rep,所以選擇之后不需要進(jìn)行在線下載。

9.檢查主機(jī)正確性

在這一步有可能報(bào)如下圖所示的警告：

在報(bào)警告的機(jī)器上依次執(zhí)行如下命令：

sysctl -w vm.swappiness=10?

echo "vm.swappiness = 10" >> /etc/sysctl.conf?

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local?

echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local?

點(diǎn)擊重新運(yùn)行之后警告消除。

10.選擇服務(wù)

這里選擇自定義服務(wù)，選擇zookeeper、hdfs、hbase三個(gè)服務(wù)。

11.配置成功

啟動(dòng)服務(wù)時(shí)候會(huì)有一些警告，這些警告都是因?yàn)橹付窂较碌拇疟P空間不足、內(nèi)存不足或是配置參數(shù)值不合理，可以根據(jù)警告中的提示進(jìn)行修改，由于是本地環(huán)境進(jìn)行搭建資源有限所以對(duì)這些警告棄之不理。

12.修改jdk版本

? ? 上述為cloude manager的完整安裝步驟，有看不明白的地方一定是我寫的不夠清楚，所有歡迎提任何問題以及改善方法。