hive安裝與配置

hive安裝與配置

準(zhǔn)備工作

  • 下載jdk8 jdk安裝配置略過
  • 下載hadoop 略過
  • 下載hive 下載對(duì)應(yīng)的發(fā)行版本即可

無論是準(zhǔn)備安裝2.X版本，或者3.X版本的hive，均建議使用jdk8，hive的版本要與hadoop版本對(duì)應(yīng).官網(wǎng)上會(huì)有介紹,注意查看。

url: hive官網(wǎng)下載

注意對(duì)照紅色標(biāo)注部分

安裝與配置

解壓tar包后,將hive-x-x重命名成hive,進(jìn)行配置工作

環(huán)境變量

vim ~/.bash_profile

新增如下，目錄請(qǐng)自行調(diào)整

# Hive
export HIVE_HOME=/usr/xxx/hive
export PATH=$PATH:$HIVE_HOME/bin

刷新環(huán)境變量

source ~/.bash_profile

hive配置

進(jìn)入$HIVE_HOME/conf目錄，從自帶的.template文件中復(fù)制或者新建兩個(gè)文件

  • hive-env.sh
  • hive-site.xml

hive-env.sh內(nèi)容如下，路徑自行調(diào)整

export HADOOP_HEAPSIZE=2048
export HADOOP_HOME=/usr/hive/hadoop
export HIVE_CONF_DIR=/usr/hive/conf
export HIVE_AUX_JARS_PATH=/usr/hive/lib

hive-site.xml內(nèi)容如下，路徑同

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!--如果使用mysql數(shù)據(jù)庫做元數(shù)據(jù)庫需要配置-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://127.0.0.1:3306/hive</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <!--關(guān)閉驗(yàn)證-->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
    <!--設(shè)置hdfs上的存儲(chǔ)路徑 /hive是hdfs的上的路徑 不是系統(tǒng)路徑-->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/hive</value>
    </property>
    <!--如果要開啟遠(yuǎn)程連接配置如下-->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://127.0.0.1:9083</value>
    </property>

    <property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
    </property>

    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>127.0.0.1</value>
    </property>
    <!--如果要開啟web管理界面配置如下-->
    <property>
        <name>hive.server2.webui.host</name>
        <value>127.0.0.1</value>
    </property>

    <property>
        <name>hive.server2.webui.port</name>
        <value>10002</value>
    </property>
    <!--不開啟嚴(yán)格模式-->
    <property>
        <name>hive.exec.dynamic.partition.mode</name>
        <value>nonstrict</value>
    </property>
</configuration>

初始化元數(shù)據(jù)庫

元數(shù)據(jù)庫是用來記錄hive分區(qū)等等信息的數(shù)據(jù)庫，一般使用關(guān)系型數(shù)據(jù)庫來存儲(chǔ)，hive自帶了derby，當(dāng)然也可以使用mysql來弄

derby

$HIVE_HOME/bin/schematool -initSchema -dbType derby

自帶的derby用起來很不可描述，遲早你還是會(huì)回歸mysql的懷抱。

mysql

先把mysql的jar包弄到hive的lib目錄. 懵懂小白不知道去哪找jar包?點(diǎn)我!

cp mysql-connector-java-5.1.38.jar /usr/hive/lib/

再登陸到mysql上,創(chuàng)建hive庫

mysql -u root -h 192.168.1.1 -p
create database hive;
exit;

最后初始化mysql

$HIVE_HOME/bin/schematool -dbType mysql -initSchema

登陸到mysql上查看結(jié)果,如圖:


元數(shù)據(jù)庫

hadoop配置

創(chuàng)建hive的寫入目錄

hdfs dfs -mkdir /hive
hdfs dfs -chmod 777 /hive

修改hadoop的core-site.xml,配置寫入用戶,新增內(nèi)容如下

    <property>
        <name>hadoop.proxyuser.zhangsheng.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.zhangsheng.groups</name>
        <value>*</value>
    </property>

將zhangsheng替換成你的用戶名

hive日志配置

注意:hive2.x版本配置hive-log4j.properties文件，hive3.x版本配置hive-log4j2.properties文件

由于每個(gè)人習(xí)慣不同，所以此處僅貼出我個(gè)人修改部分以供參考
hive-log4j.properties
只修改了如下4個(gè)屬性

hive.log.threshold=ALL
hive.root.logger=DEBUG,DRFA
hive.log.dir=/usr/logs/hive
hive.log.file=hive.log

hive-log4j2.properties

基本同上

property.hive.log.level = DEBUG
property.hive.log.dir = /usr/logs/hive
property.hive.log.file = hive.log

啟動(dòng)

先啟動(dòng)hadoop,然后命令行輸出hive直接啟動(dòng)hive,啟動(dòng)成功后輸出set;回車查看配置,如下:

set

開啟遠(yuǎn)程訪問

${HIVE_HOME}/bin/hive --service metastore >>/dev/null 2>&1 &
${HIVE_HOME}/bin/hive --service hiveserver2  >>/dev/null 2>&1 &

遠(yuǎn)程連接,端口位10000，可以使用datagrip或者其他支持hive的數(shù)據(jù)庫工具，也可以使用beeline

jdbc:hive2://127.0.0.1:10000

如果展示datagrip訪問

1

!22

webui訪問http://127.0.0.1:10002/,第一次會(huì)很慢，稍微等待會(huì)

web

常見錯(cuò)誤

Exception in thread "main" java.lang.NoSuchMethodError: 'void com.google.common.base.Preconditions.checkArgument(boolean, java.lang.String, java.lang.Object)'

hadoop中的guava包版本比hive的高

/Users/zhangsheng/cdh/hadoop/share/hadoop/yarn/csi/lib/guava-20.0.jar
/Users/zhangsheng/cdh/hive/lib/guava-19.0.jar
/Users/zhangsheng/cdh/spark/jars/guava-14.0.1.jar

刪除hive的低版本包,復(fù)制hadoop的高版本包過來

class jdk.internal.loader.ClassLoaders$AppClassLoader cannot be cast to class java.net.URLClassLoader

安裝jdk8,不要使用高版本

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 1 安裝說明 在安裝hive之前，需要安裝hadoop集群環(huán)境，如果沒有可以查看：Hadoop分布式集群的搭建 1...
    foochane閱讀 3,722評(píng)論 0贊 0
  • 1、因?yàn)槲沂褂肕ySQL做為Hive的元數(shù)據(jù)庫，所以先安裝MySQL。 參考：http://www.cnblogs...
    輝格食品閱讀 1,758評(píng)論 0贊 1
  • 【轉(zhuǎn)】https://www.cnblogs.com/jchubby/p/5449350.html Hive配置與...
    熊貓人和熊貓君閱讀 465評(píng)論 0贊 0
  • https://cwiki.apache.org/confluence/display/Hive/GettingS...
    金剛_30bf閱讀 3,378評(píng)論 0贊 6
  • 一、Home環(huán)境變量配置 及mysql安裝 二、配置1、3.X版本以上需解決日志jar包沖突 : mv $HIVE...
    楓葉無言_1997閱讀 545評(píng)論 0贊 0

友情鏈接更多精彩內(nèi)容