hive3.1.2安裝(基于mysql存儲(chǔ)元數(shù)據(jù))

1.下載

wget http://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

2.解壓

tar -zxvf apache-hive-3.1.2-bin.tar.gz

3.配置環(huán)境變量

vim /etc/profile

export HIVE_HOME=/cdc/apache-hive-3.1.2-bin
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin
source /etc/profile

4. 安裝

4.1 修改hive-config.sh

vim /bin/hive-config.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.272.b10-1.el7_9.x86_64
export HIVE_HOME=/cdc/apache-hive-3.1.2-bin
export HADOOP_HOME=/cdc/hadoop-3.3.0
mv  hive-env.sh.template  hive-env.sh
mv  hive-default.xml.template  hive-site.xml(或重新創(chuàng)建touch hive-site.xml)

4.2上傳jar包

上傳mysql-connector-java-5.1.10.jar到$HIVE_HOME/lib

wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar

4.3 修改hive-env.sh

vim hive-env.sh

export HADOOP_HOME=/cdc/hadoop-3.3.0
export HIVE_CONF_DIR=/cdc/apache-hive-3.1.2-bin/conf/

4.4 修改hive-site.xml

vim hive-site.xml
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://主機(jī)名:3306/mysql自動(dòng)為hive創(chuàng)建的元數(shù)據(jù)庫(kù)名?createDatabaseIfNotExist=true</value>
</property> 
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>eisoo.com123</value>
</property>
<!-- 指定存儲(chǔ)元數(shù)據(jù)要連接的地址 -->
<property>
    <name>hive.metastore.uris</name>
    <value>thrift://dhf4:9083</value>
</property>
<!-- 指定 hiveserver2 連接的 host -->
<property>
    <name>hive.server2.thrift.bind.host</name>
    <value>主機(jī)名</value>
</property>
<!-- 指定 hiveserver2 連接的端口號(hào) -->
<property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
</property>

4.5 初始化mysql數(shù)據(jù)庫(kù)

schematool -dbType mysql -initSchema

hive --service metastore

4.6啟動(dòng)hive服務(wù)端

啟動(dòng)較慢,netstat -nultp|grep 10000等待有10000端口監(jiān)聽(tīng)即啟動(dòng)成功

./hive --service hiveserver2

4.7啟動(dòng)beeline 客戶端

./beeline -u jdbc:hive2://主機(jī)名:10000 -n root

5.測(cè)試

image

出錯(cuò)了!將hive設(shè)置成本地模式來(lái)執(zhí)行任務(wù)。

image

Mysql中為hive創(chuàng)建的元數(shù)據(jù)庫(kù)及數(shù)據(jù)表存放在hdfs上的位置

image

到hdfs上查看數(shù)據(jù)

image

關(guān)注公眾號(hào) HEY DATA,添加作者微信,一起討論更多。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容