hadoop高可用集群搭建

1、在hadoop用戶的家目錄下創(chuàng)建一個(gè)data文件

指定hadoop/etc/hadoop下配置文件core-site.xml配置hadoop元數(shù)據(jù)存放目錄為該目錄

指定zookeeper/conf/配置文件zoo.cfg中配置zookeeper元數(shù)據(jù)存放目錄為該目錄

2、檢查三大文件

1>vi etc/hosts文件中配置四臺(tái)服務(wù)器的域名地址

2>slaves文件配置4臺(tái)服務(wù)器的心跳

3>zookeeper的zoo.cfg文件中配置4臺(tái)服務(wù)器角色,其中hadoop05為observer

以及配置log目錄/home/hadoop/zklog

3、同步時(shí)間和免密登錄

1、刪除家目錄下.ssh文件

2、同步時(shí)間

3、配置免密登錄

4、發(fā)送zookeeper和hadoop安裝包到各個(gè)服務(wù)器節(jié)點(diǎn)

元數(shù)據(jù)和日志目錄

dataDir=/home/hadoop/data/zkdata

dataLogDir=/home/hadoop/log/zklog

4、問(wèn)題

1)格式化只能進(jìn)行一次

第一:NameNode的格式化

hadoop namenode -format

第二:ZKFC的格式化

hdfs zkdc -formatZK

2)NameNode沒(méi)有啟起來(lái)

操作:將一個(gè)NameNode的元數(shù)據(jù)發(fā)送到另一個(gè)NameNode元數(shù)據(jù)存放目錄,兩個(gè)NameNode的元數(shù)據(jù)存放目錄必須一致

3)啟動(dòng)順序

Hadoop02-Hadoop05 :zkServer.sh start

Hadoop02:Hadoop03:Hadoop04:hadoop-daemon.sh start journalnode

hadoop namenode -format

元數(shù)據(jù)同步:scp -r ~/data/hadoopdata/ hadoop03:~/data

hdfs zkfc -formatZK?

Hadoop02:start-dfs.sh(hdfs-daemon.sh start namenode)

Hadoop04:start-yarn.sh(yarn-daemon.sh start resourcemanager)

Hadoop05:yarn-daemon.sh start resourcemanager

關(guān)閉服務(wù)順序:

hadoop04:stop-yarn.sh

hadoop05:yarn-daemon.sh stop resourcemanager

hadoop02:stop-dfs.sh

hadoop02:hadoop03:hadoop04:hadoop05 zkServer.sh stop

二、在HA基礎(chǔ)上搭建HBase

版本:hbase-1.2.4-bin.tar.gz

下載網(wǎng)址:http://mirrors.hust.edu.cn/apache/hbase/

第一步:解壓安裝包到HBase

第二步:修改并發(fā)送配置文件 conf目錄

1)hbase-env.sh?

27行和128行

27 export JAVA_HOME=/usr/local/jdk1.8.0_73

128 export HBASE_MANAGES_ZK=false

2)hbase-site.xml 配置內(nèi)容

①指定hbase在HDFS上存儲(chǔ)的路徑

name:hbase.tmp.dir?

value:hdfs://myha01/hbase

②指定hbase是分布式的

name:hbase.cluster.distributed

value:true

③指定zk的地址,多個(gè)用“,”分割

name:hbase.zookeeper.quorum

value:hadoop02:2181,hadoop03:2181,hadoop04:2181

3)backup-masters文件中配置兩個(gè)NameNode節(jié)點(diǎn)

4)發(fā)送hdfs-site.xml和core-site.xml到該目錄下

第三步、配置環(huán)境變量:家目錄

vi .bashrc

配置內(nèi)容:

export HBASE_HOME=/home/hadoop/apps/hbase-1.2.4

export PATH=$PATH:$HBASE_HOME/bin

第四步:刪除Hadoop03/04/05家目錄下.bashrc文件

進(jìn)入Hadoop02的apps目錄:

scp -r hbase-1.2.4 hadoop@hadoop03:$PWD

scp -r hbase-1.2.4 hadoop@hadoop04:$PWD

scp -r hbase-1.2.4 hadoop@hadoop05:$PWD

進(jìn)入家目錄

scp .bashrc hadoop@hadoop03:$PWD

scp .bashrc hadoop@hadoop04:$PWD

scp .bashrc hadoop@hadoop05:$PWD

第五步:運(yùn)行.bashrc腳本使配置的環(huán)境變量全局有效

source .bashrc

第六步:開(kāi)啟HA集群

第七步:開(kāi)啟HBase選擇一個(gè)主節(jié)點(diǎn)進(jìn)行

腳本:start-hbase.sh

查看進(jìn)程

手動(dòng)啟動(dòng)

hbase-daemon.sh start master

hbase-daemon.sh start regionserver

web網(wǎng)址:http://hadoop02:16010/

第八步:HBase命令行

執(zhí)行命令 hbase shell ? ? ? ?進(jìn)入到hbase shell客戶端開(kāi)始使用

第九步:使用help學(xué)習(xí)命令

HBase Shell; enter 'help' for list of supported commands.

Type "exit" to leave the HBase Shell

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容