1、在hadoop用戶的家目錄下創(chuàng)建一個(gè)data文件
指定hadoop/etc/hadoop下配置文件core-site.xml配置hadoop元數(shù)據(jù)存放目錄為該目錄
指定zookeeper/conf/配置文件zoo.cfg中配置zookeeper元數(shù)據(jù)存放目錄為該目錄
2、檢查三大文件
1>vi etc/hosts文件中配置四臺(tái)服務(wù)器的域名地址
2>slaves文件配置4臺(tái)服務(wù)器的心跳
3>zookeeper的zoo.cfg文件中配置4臺(tái)服務(wù)器角色,其中hadoop05為observer
以及配置log目錄/home/hadoop/zklog
3、同步時(shí)間和免密登錄
1、刪除家目錄下.ssh文件
2、同步時(shí)間
3、配置免密登錄
4、發(fā)送zookeeper和hadoop安裝包到各個(gè)服務(wù)器節(jié)點(diǎn)
元數(shù)據(jù)和日志目錄
dataDir=/home/hadoop/data/zkdata
dataLogDir=/home/hadoop/log/zklog
4、問(wèn)題
1)格式化只能進(jìn)行一次
第一:NameNode的格式化
hadoop namenode -format
第二:ZKFC的格式化
hdfs zkdc -formatZK
2)NameNode沒(méi)有啟起來(lái)
操作:將一個(gè)NameNode的元數(shù)據(jù)發(fā)送到另一個(gè)NameNode元數(shù)據(jù)存放目錄,兩個(gè)NameNode的元數(shù)據(jù)存放目錄必須一致
3)啟動(dòng)順序
Hadoop02-Hadoop05 :zkServer.sh start
Hadoop02:Hadoop03:Hadoop04:hadoop-daemon.sh start journalnode
hadoop namenode -format
元數(shù)據(jù)同步:scp -r ~/data/hadoopdata/ hadoop03:~/data
hdfs zkfc -formatZK?
Hadoop02:start-dfs.sh(hdfs-daemon.sh start namenode)
Hadoop04:start-yarn.sh(yarn-daemon.sh start resourcemanager)
Hadoop05:yarn-daemon.sh start resourcemanager
關(guān)閉服務(wù)順序:
hadoop04:stop-yarn.sh
hadoop05:yarn-daemon.sh stop resourcemanager
hadoop02:stop-dfs.sh
hadoop02:hadoop03:hadoop04:hadoop05 zkServer.sh stop
二、在HA基礎(chǔ)上搭建HBase
版本:hbase-1.2.4-bin.tar.gz
下載網(wǎng)址:http://mirrors.hust.edu.cn/apache/hbase/
第一步:解壓安裝包到HBase
第二步:修改并發(fā)送配置文件 conf目錄
1)hbase-env.sh?
27行和128行
27 export JAVA_HOME=/usr/local/jdk1.8.0_73
128 export HBASE_MANAGES_ZK=false
2)hbase-site.xml 配置內(nèi)容
①指定hbase在HDFS上存儲(chǔ)的路徑
name:hbase.tmp.dir?
value:hdfs://myha01/hbase
②指定hbase是分布式的
name:hbase.cluster.distributed
value:true
③指定zk的地址,多個(gè)用“,”分割
name:hbase.zookeeper.quorum
value:hadoop02:2181,hadoop03:2181,hadoop04:2181
3)backup-masters文件中配置兩個(gè)NameNode節(jié)點(diǎn)
4)發(fā)送hdfs-site.xml和core-site.xml到該目錄下
第三步、配置環(huán)境變量:家目錄
vi .bashrc
配置內(nèi)容:
export HBASE_HOME=/home/hadoop/apps/hbase-1.2.4
export PATH=$PATH:$HBASE_HOME/bin
第四步:刪除Hadoop03/04/05家目錄下.bashrc文件
進(jìn)入Hadoop02的apps目錄:
scp -r hbase-1.2.4 hadoop@hadoop03:$PWD
scp -r hbase-1.2.4 hadoop@hadoop04:$PWD
scp -r hbase-1.2.4 hadoop@hadoop05:$PWD
進(jìn)入家目錄
scp .bashrc hadoop@hadoop03:$PWD
scp .bashrc hadoop@hadoop04:$PWD
scp .bashrc hadoop@hadoop05:$PWD
第五步:運(yùn)行.bashrc腳本使配置的環(huán)境變量全局有效
source .bashrc
第六步:開(kāi)啟HA集群
第七步:開(kāi)啟HBase選擇一個(gè)主節(jié)點(diǎn)進(jìn)行
腳本:start-hbase.sh
查看進(jìn)程
手動(dòng)啟動(dòng)
hbase-daemon.sh start master
hbase-daemon.sh start regionserver
web網(wǎng)址:http://hadoop02:16010/
第八步:HBase命令行
執(zhí)行命令 hbase shell ? ? ? ?進(jìn)入到hbase shell客戶端開(kāi)始使用
第九步:使用help學(xué)習(xí)命令
HBase Shell; enter 'help' for list of supported commands.
Type "exit" to leave the HBase Shell