參考文章：
https://my.oschina.net/u/2277929/blog/660748*

http://www.itdecent.cn/p/debf0e6a3f3b*

http://www.itdecent.cn/p/6e59df5f2461*

https://my.oschina.net/wstone/blog/522165*

http://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/*

http://business.sohu.com/20160919/n468669356.shtml*

https://www.gitbook.com/book/forevernull/hortonworks-getstarted*

http://www.cnblogs.com/starof/p/4685999.html*

http://www.cnblogs.com/linuxhan/archive/2012/04/18/3017178.html*

http://blog.csdn.net/bluishglc/article/details/42049047*

0Hbase搭建

0.1背景知識

Hbase為Hadoop的組件之一。Hadoop在大數(shù)據(jù)領域的應用前景很大，不過因為是開源技術(shù)，實際應用過程中存在很多問題。于是出現(xiàn)了各種Hadoop發(fā)行版，國外目前主要是三家創(chuàng)業(yè)公司在做這項業(yè)務：

Hortonworks，

Cloudera，

MapR

其中Cloudera和MapR的發(fā)行版是收費的，他們基于開源技術(shù)，提高穩(wěn)定性，同時強化了一些功能，定制化程度較高，核心技術(shù)是不公開的。營收主要來自軟件收入，國內(nèi)的星環(huán)科技, 紅象云騰盈利模式與之類似。這類公司，如果一直保持技術(shù)領先性，那么軟件收入溢價空間很大。但一旦技術(shù)落后于開源社區(qū)，整個產(chǎn)品需要進行較大調(diào)整。

Hortonworks則走向另一條路，他們將核心技術(shù)完全公開，用于推動Hadoop社區(qū)的發(fā)展。這樣做的好處是，如果開源技術(shù)有很大提升，他們受益最大，因為定制化程度較少，自身不會受到技術(shù)提升的沖擊。

不同于傳統(tǒng)軟件提供商，Hortonworks沒有對產(chǎn)品收費，而是將這兩款產(chǎn)品完全開放，將核心技術(shù)放在Hadoop開源社區(qū)中，每個人都可以看到并使用這兩款產(chǎn)品。開公司又不是做慈善，Hortonworks靠什么來賺錢？對于企業(yè)客戶來說，就算知道新技術(shù)的核心內(nèi)容，具體應用還是會碰到很多問題。有了源代碼，如何與自己系統(tǒng)相結(jié)合、增強功能、調(diào)試故障、對接應用都是問題。這個時候，程序開發(fā)者找上門來說：“這個技術(shù)是我研發(fā)的，我可以幫你將技術(shù)應用到你的系統(tǒng)中，調(diào)試、更新升級、加入特定的功能這些事情我都可以做。后期需要的話，還可以提供維護?！逼髽I(yè)客戶如果想用這項技術(shù)，自己開發(fā)難度較大的話，就會選擇合作。這就是Hortonworks的盈利模式，通過提供支持服務和后期維護，向企業(yè)級客戶收費。即類似于RedHat，通過服務賺錢。

0.2物理架構(gòu)

測試的網(wǎng)絡架構(gòu)

圖1-1測試物理架構(gòu)圖

0.3下載相關(guān)文件

從官網(wǎng)（hortonworks）下載Hadoop安裝工具及包ambari，避免待會yum在線安裝時，老安裝失?。ㄒ驗槲募容^大，又要翻墻，容易斷）。

HDP-2.4.0.0(6GB)

http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.0.0/HDP-2.4.0.0-centos6-rpm.tar.gz

HDP-UTILS(694MB)

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos6/HDP-UTILS-1.1.0.20-centos6.tar.gz

ambari(626MB)

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.1.0/ambari-2.2.1.0-centos6.tar.gz

jdk-7u80-linux-x64(294M)

0.4配置集群機器

1.配置磁盤空間

測試用的系統(tǒng)為centos6.7，因為安裝后期HDFS磁盤及相關(guān)日志占用比較大，因此提交做好分區(qū)掛載很重要（測試時虛擬機擴容了幾次），需要比較大空間的目錄為：HDFS目錄和Log目錄和lib目錄。

各臺機器的默認安裝目錄:

/usr/lib/hadoop

/usr/lib/hbase

/usr/lib/zookeeper

/usr/lib/hcatalog

/usr/lib/hive

Log路徑, 這里需要看出錯信息都可以在目錄下找到相關(guān)的日志

/var/log/hadoop

/var/log/hbase

配置文件的路徑

/etc/hadoop

/etc/hbase

/etc/hive

HDFS的存儲路徑

/hadoop/hdfs

2.配置防火墻

關(guān)閉命令： service iptables stop

永久關(guān)閉防火墻：chkconfig iptables off

兩個命令同時運行，運行完成后查看防火墻關(guān)閉狀態(tài)

service iptables status

3.配置hostname

永久修改hostname，重啟后生效

vi /etc/sysconfig/network

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME=XXXX

想立即生效（不建議，可能失?。┛刹扇∪缦路椒ǎ?/p>

修改主機名：hostname bd001

查看主機名：hostname

4.配置自動校時

開啟自動校時，并開機自啟動

chkconfig ntpd on

service ntpd start

設置時區(qū)為北京時間，這里為上海，因為centos里面只有上海。。。

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

時間同步

ntpdate us.pool.ntp.org

沒有安裝ntpdate的可以yum一下

yum install -y ntpdate

加入定時計劃任務，每隔10分鐘同步一下時鐘

crontab -e

把下面的內(nèi)容粘貼進去保存即可

0-59/10 * * * * /usr/sbin/ntpdate us.pool.ntp.org | logger -t NTP

設置內(nèi)網(wǎng)ntp服務器還不知道如何處理

5.配置SSL（版本大于1.0）

需要openssl的1.0以上版本!

yum install openssl

或者

yum upgrade openssl

6.配置python（版本大于等于2.6）

版本在2.6但不要是3.x

7.配置JDK（版本大于等于1.7）

建議安裝Sun的JDK1.7版本!

安裝完畢并配置java環(huán)境變量,

在/etc/profile末尾添加如下代碼:

export JAVA_HOME=/usr/jdk1.7.0_80

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

保存退出即可,然后執(zhí)行source /etc/profile生效.

在命令行執(zhí)行java -version 如下代表JAVA安裝成功.

8.配置SSH免驗證登陸

主節(jié)點要能無密碼登陸到所有數(shù)據(jù)節(jié)點的。為了便于理解，假設需要在hadoop148這臺機器上可以通過無密碼登錄的方式連接到hadoop107上。

具體步驟：

1 、登錄hadoop148,

執(zhí)行命令 ssh-keygen -t rsa 之后一路回車

2 、把 id_rsa.pub 追加到授權(quán)的 key 里面去。

執(zhí)行命令 cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

3 、修改權(quán)限：

執(zhí)行 chmod 600 ~/.ssh/authorized_keys

4 、將公鑰復制到所有其他機器上 :

scp ~/.ssh/id_rsa.pub root@hadoop107:~/

5 、在 hadoop107 機器上 創(chuàng)建 .ssh 文件夾 :

mkdir ~/.ssh

chmod 700 ~/.ssh

6 、追加到授權(quán)文件 authorized_keys 執(zhí)行命令 :

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

7 、驗證命令

ssh hadoop107

刪除107上的 id_rsa.pub 文件 :rm -r id_rsa.pub

9.配置hosts

在/etc/hosts中內(nèi)容應為：

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.128.111 bd001

192.168.128.112 bd002

192.168.128.113 bd003

192.168.128.114 bd004

10.配置離線源服務器

上述配置需要在集群中各個機器配置，而此離線源服務器可以在集群中一臺機器或者集群能訪問的一臺機器中配置即可。

1.將下載的三個文件的tar.gz拷貝到/home目錄下的/hdp目錄中,然后分別解壓。

2、安裝Apache

yum install httpd

3、設置Apache服務的啟動級別

chkconfig --levels 235 httpd on

4、現(xiàn)在就啟動它，所有更改需要stop后在start

/etc/init.d/httpd start

5、在/etc/httpd/conf/httpd.conf中添加內(nèi)容，即將/home/hdp映射為http的/hadoop目錄

Alias /hadoop "/home/hdp"

<Directory "/home/hdp">

Options Indexes FollowSymLinks

Order allow,deny

Allow from all

</Directory>

6、還要對沿途的個個路徑授權(quán)755

那么要保證/home，/home/hdp這四個層級的目錄都是755權(quán)限，

不要遞歸-R（會影響ssh無密碼登陸），

hdp下面的文件和文件夾可以賦值為 777

7、/etc/init.d/httpd stop后再start

8、訪問http://ip地址/hadoop 測試對應的離線文件能否訪問及下載(默認端口80)

11.配置離線源客戶端

在所有機器上配置：

（1）配置離線優(yōu)先級：

yum install yum-plugin-priorities

vi /etc/yum/pluginconf.d/priorities.conf

設置為以下內(nèi)容

[main]

enabled=1 gpgcheck=0

（2）替換3個repo文件

*hdp.repo

[HDP-2.4.0.0]

name=HDP Version - HDP-2.4.0.0

baseurl=http://192.168.128.111/hadoop/HDP/centos6/2.x/updates/2.4.0.0

gpgcheck=1

gpgkey=http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.0.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

*hdp-util.repo

[HDP-UTILS-1.1.0.20]

name=HDP Utils Version - HDP-UTILS-1.1.0.20

baseurl=http://192.168.128.111/hadoop/HDP-UTILS-1.1.0.20/repos/centos6

gpgcheck=1

gpgkey=http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.0.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

*ambari.repo

[Updates-ambari-2.2.1.0]

name=ambari-2.2.1.0 - Updates

baseurl=http://192.168.128.111/hadoop/AMBARI-2.2.1.0/centos6/2.2.1.0-161

gpgcheck=1

gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

（3）yum repolist

12.其他配置

（1）增大文件句柄

在/etc/security/limits.conf接近末尾處添加:

•           soft    nproc16384
  

•           hard    nproc16384
  

•           soft    nofile65536
  

•           hard    nofile65536
  

（2）禁止 PackageKit

pkill -9 packagekitd

vim /etc/yum/pluginconf.d/refresh-packagekit.conf

將內(nèi)容改為enabled=0

（3）禁用selinux

vi /etc/sysconfig/selinux

設置selinux=disabled

0.5安裝ambari服務

1.安裝ambari-server

yum install -y epel-release

yum install ambari-server

選擇“n”使用默認配置

等待安裝完成

2.初始化ambari-server

安裝失敗后或重新安裝先執(zhí)行ambari-server reset 后 ambari-setup；

ambari-server setup

3.啟動ambari-server

ambari-server start

http://ip:8080

使用默認的admin/admin登錄。

0.6相關(guān)默認用戶名密碼

+++++++++++++++++++++++++++++++++++++

ambari管理頁面：

訪問地址 ip:8080 用戶名密碼 admin/admin

+++++++++++++++++++++++++++++++++++++

自帶postgresql數(shù)據(jù)庫：

數(shù)據(jù)庫類型:postgresql

數(shù)據(jù)庫:ambari

用戶名:ambari

密碼:bigdata

+++++++++++++++++++++++++++++++++++++

+++++++++++++++++++++++++++++++++++++

0.7集群在線配置

1.界面說明

搭建集群的按鈕

搭建集群

輸入集群名稱,名字不支持 -號空格等

輸入集群名稱

HDP版本號選擇

HDP版本號選擇

系統(tǒng)的版本不同懸著的os版本也不同

這里記得填寫你的 離線地址

記得填寫你的 離線地址

創(chuàng)建ssh免登陸時,主節(jié)點.ssh文件夾下有該文件

主節(jié)點.ssh下的私鑰

這一步很容易因為配置文件的原因出錯(可能節(jié)點服務器沒設置好dns,導致yum不能使用,也可能節(jié)點主機名和先前填寫的主機名不一致)

多臺集群這里顯示列表

選擇要安裝哪些

自己勾選，有依賴會提示

各個服務安裝在哪些機器上，自己分配

各個服務安裝在哪些機器上

客戶端選擇

選擇服務的一些細節(jié)配置

總結(jié)配置

等待安裝

正在安裝各個節(jié)點

正在安裝各個節(jié)點

安裝成功總結(jié)

監(jiān)控頁面

監(jiān)控頁面