在CentOS下搭建Hadoop集群及Hive

hadoop用于存儲網(wǎng)站的用戶瀏覽軌跡數(shù)據(jù)及業(yè)務(wù)系統(tǒng)的用戶操作日志數(shù)據(jù)，便于后期數(shù)據(jù)分析提取。由于機(jī)器有限，目前只搭建了2臺機(jī)器作為hadoop集群的節(jié)點(diǎn)。

集群節(jié)點(diǎn)機(jī)器間的免密登錄設(shè)置

  • 設(shè)置機(jī)器名
hostname #查看機(jī)器名
hostname   hserver1 #設(shè)置機(jī)器名
  • 修改/etc/hosts文件
    vi /etc/hosts
192.168.1.102   hserver1  
192.168.1.103   hserver2

ping -c 3 hserver2 #檢查是否生效

  • 生成秘鑰文件
    執(zhí)行命令，生成空字符串的秘鑰(后面要使用公鑰)
ssh-keygen  -t   rsa   -P  ''

由于是root 賬戶登錄 ，所以秘鑰文件保存到了/root/.ssh/目錄內(nèi)，可以使用命令查看，命令是：

ls /root/.ssh/
  • 創(chuàng)建authorized_keys文件
    在hserver1的/root/.ssh/目錄中生成一個名為authorized_keys的文件，命令是：
touch  /root/.ssh/authorized_keys

將hserver1上的/root/.ssh/id_rsa.pub文件內(nèi)容，hserver2上的/root/.ssh/id_rsa.pub文件內(nèi)容復(fù)制到這個authorized_keys文件中,將authorized_keys文件復(fù)制到其他機(jī)器。

另一種方式：
ssh-copy-id命令來復(fù)制公鑰到要登錄的節(jié)點(diǎn)中，效果一樣

ssh-copy-id -i root@192.168.1.102
  • 測試使用ssh進(jìn)行無密碼登錄
    在hserver1上進(jìn)行測試
ssh   hserver2

希望ssh公鑰生效需滿足至少下面兩個條件： ssh目錄的權(quán)限必須是700 ssh/authorized_keys文件權(quán)限必須是600
chmod 700 /root/.ssh
chmod 600 /root/.ssh/*

安裝jdk和hadoop

1、在opt目錄下新建一個名為hadoop的目錄，并將下載得到的hadoop-2.9.0.tar上載到該目錄下
進(jìn)入到該目錄，執(zhí)行命令:

cd   /opt/hadoop

執(zhí)行解壓命令：

tar  -xvf   hadoop-2.9.0.tar.gz

先在hserver1上把后續(xù)的各個配置文件配置好了，然后打包傳到hserver2/opt/hadoop/相同目錄下

2、在/usr/local/hadoop 目錄下新建幾個目錄 存儲Hadoop 數(shù)據(jù)

mkdir /usr/local/hadoop  
mkdir /usr/local/hadoop/tmp  
mkdir /usr/local/hadoop/var  
mkdir /usr/local/hadoop/dfs  
mkdir /usr/local/hadoop/dfs/name  
mkdir /usr/local/hadoop/dfs/data

3、修改/opt/hadoop/hadoop-2.9.0/etc/hadoop目錄內(nèi)的一系列文件

  • 修改core-site.xml,在<configuration>節(jié)點(diǎn)內(nèi)加入配置:
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hserver1:9000</value>
</property>

  • 修改hadoop-env.sh 和yarn-env.sh
    將export JAVA_HOME=${JAVA_HOME}
    修改為： export JAVA_HOME=/root/jdk1.8.0_131 說明：修改為自己的JDK路徑

  • 修改hdfs-site.xml,在<configuration>節(jié)點(diǎn)內(nèi)加入配置

<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/dfs/name</value>
<description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/dfs/data</value>
<description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
<description>need not permissions</description>
</property>
  • 新建mapred-site.xml
    復(fù)制該文件 mapred-site.xml.template的文件，然后改名為mapred-site.xml
cp   /opt/hadoop/hadoop-2.9.0/etc/hadoop/mapred-site.xml.template     /opt/hadoop/hadoop-2.9.0/etc/hadoop/mapred-site.xml

修改這個新建的mapred-site.xml文件，在<configuration>節(jié)點(diǎn)內(nèi)加入配置:

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hserver1:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hserver1:19888</value>
</property>

  • 修改slaves文件,增加數(shù)據(jù)節(jié)點(diǎn)
    修改/opt/hadoop/hadoop-2.9.0/etc/hadoop/slaves文件，將里面的localhost刪除，添加如下內(nèi)容：
    hserver1
    hserver2

  • 修改yarn-site.xml文件
    在<configuration>節(jié)點(diǎn)內(nèi)加入配置

<property>
<name>yarn.resourcemanager.hostname</name>
<value>hserver1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hserver1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hserver1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hserver1:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hserver1:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hserver1:8088</value>
</property>

4、啟動hadoop

  • 關(guān)閉防火墻
  • namenode上執(zhí)行初始化
    因?yàn)閔server1是namenode，hserver1和hserver2都是datanode，所以只需要對hserver1進(jìn)行初始化操作，也就是對hdfs進(jìn)行格式化。
    進(jìn)入到hserver1這臺機(jī)器的/opt/hadoop/hadoop-2.9.0/bin目錄
    執(zhí)行初始化腳本，也就是執(zhí)行命令：
hdfs  namenode  -format
  • 在namenode上執(zhí)行啟動命令
    因?yàn)閔server1是namenode，hserver1和hserver2都是datanode，所以只需要再hserver1上執(zhí)行啟動命令即可。
    進(jìn)入到hserver1這臺機(jī)器的/opt/hadoop/hadoop-2.9.3/sbin目錄
    執(zhí)行啟動腳本，也就是執(zhí)行命令：
start-all.sh

5、測試hadoop
haddoop啟動了，需要測試一下hadoop是否正常。
hserver1是我們的namanode，該機(jī)器的IP是192.168.1.103，在本地電腦訪問如下地址:
http://192.168.1.103:50070/ 自動跳轉(zhuǎn)到了overview頁面
http://192.168.1.103:8088/ 自動跳轉(zhuǎn)到了cluster頁面

安裝hive，并配置mysql作為元數(shù)據(jù)庫

1、下載并解壓hive源程序
下載地址1. http://www.apache.org/dyn/closer.cgi/hive/

tar -zxvf ./apache-hive-1.2.1-bin.tar.gz -C /opt   # 解壓到/opt中
cd /opt/
mv apache-hive-3.1.1-bin hive       # 將文件夾名改為hive
chown -R hadoop:hadoop hive            # 修改文件歸屬

2、配置環(huán)境變量
修改 /etc/profile 文件
vi /etc/profile

export HIVE_HOME=/opt/hive
export PATH=$PATH:$HIVE_HOME/bin
export HADOOP_HOME=/opt/hadoop/hadoop-2.9.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

最后執(zhí)行命令 source /etc/profile 使其修改生效。

3、修改/opt/hive/conf下的hive-site.xml
將hive-default.xml.template重命名為hive-default.xml；
新建一個文件touch hive-site.xml，并在hive-site.xml中粘貼如下配置信息：

<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://192.168.1.99:3306/hive?createDatabaseIfNotExist=true</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>###</value>  
    <description>username to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>###</value>
    <description>password to use against metastore database</description>
  </property>
</configuration>

4、啟動hive
啟動hive之前，請先啟動hadoop集群。
start-all.sh
輸入 hive 即可使用hive
將mysql設(shè)置為hive的元數(shù)據(jù)庫，執(zhí)行

schematool -dbType mysql -initSchema

5、hiveserver2配置啟動

  • HiveServer2支持多種用戶安全認(rèn)證方式：NONE,NOSASL, KERBEROS, LDAP, PAM ,CUSTOM。目前還沒有完全搞清楚怎么配置，就先使用NONE。
    編輯Hadoop的 core-site.xml文件，在配置文件末尾加上以下內(nèi)容：
<property>
    <name>hadoop.proxyuser.hadoopuser.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hadoopuser.groups</name>
    <value>*</value>
  </property>

重啟Hadoop

  • 啟動hiveserver2
    運(yùn)行 /opt/hive/bin/hiveserver2
  • 使用beeline連接hiveserver2
    /opt/hive/bin/beeline
    !connect jdbc:hive2://192.168.1.103:10000/default;-uhive
  • 也可以通過瀏覽器 訪問http:// 10.0.0.26:10002/ 查看詳情

6、 hive異常分析

  • schematool -dbType mysql -initSchema初始化時 報(bào)錯：
    Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Illegal character entity: expansion character (code 0x8
    at [row,col,system-id]: [3231,96,"file:/opt/hive/conf/hive-site.xml"]

解決方法：
opt/hive/conf/hive-site.xml文件的第3231行有特殊字符，刪掉即可
對應(yīng)<name>hive.txn.xlock.iow<name>

刪除&#8;特殊字符
  • SLF4J: Class path contains multiple SLF4J bindings.
    解決方法：刪掉與添加的配置文件重名的配置信息

7、hive啟動時報(bào)錯

  • Logging initialized using configuration in jar:file:/opt/hive/lib/hive-common-3.1.1.jar!/hive-log4j2.properties Async: true
    Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: {system:java.io.tmpdir%7D/%7Bsystem:user.name%7D
    解決方法：
    配置沒有修改hive的臨時目錄
    修改hive-site.xml文件的${system:java.io.tmpdir}，一共兩處，改為本地的存在目錄
    vim /opt/hive/conf/hive-site.xml

日常運(yùn)維出現(xiàn)的問題及解決，持續(xù)更新中...

1、使用hive的beeline連接報(bào)錯hadoop is not allowed to impersonate hadoop (state=08S01,code=0)
網(wǎng)上找了一圈，解決方法都是
在hadoop的core-site.xml中添加如下內(nèi)容

<property>
    <name>hadoop.proxyuser.hadoop.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.hadoop.groups</name>
    <value>*</value>
</property>

我檢查了原先有這個配置，搞了半天沒有找到解決方法。
只能重啟看看效果。

2、運(yùn)行stop-all.sh 結(jié)果出現(xiàn)no namenode to stop
可hadoop服務(wù)正常沒有關(guān)閉。
原來hadoop默認(rèn)配置是將datanode,namenode,jobtracker,tasktracker,secondarynamenode的pid存放在/tmp目錄下，但linux會定期清理/tmp目錄，pid信息丟失導(dǎo)致
解決辦法：
修改hadoop/etc/hadoop/hadoop-env.sh文件中的HADOOP_PID_DIR

export HADOOP_PID_DIR=/opt/hadoop/pids

修改hadoop/etc/hadoop/yarn-env.sh文件中的YARN_PID_DIR

export YARN_PID_DIR=/opt/hadoop/pids

注意：pids目錄要授予讀寫權(quán)限:chmod 775 -R /opt/hadoop/pids

重啟完hadoop后，第一個連接報(bào)錯的問題居然好了。

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容