2022-11-14cdh5.16環(huán)境下使用spark3,Kyuubi 環(huán)境搭建

只記有問題的點。

首先配置spark3的環(huán)境變量在$KYUUBI_HOME/conf/kyuubi-env.sh

Spark Engine
SPARK_HOME=~/Downloads/spark-3.2.0-bin-hadoop3.2
Flink Engine
FLINK_HOME=/Downloads/flink-1.15.1

配置$KYUUBI_HOME/conf/kyuubi-defaults.conf
Flink Engine
kyuubi.engine.type FLINK_SQL

Starting Kyuubi

直接執(zhí)行 bin/kyuubi start
后臺運行 bin/kyuubi run

在spark中配置hive服務，將hive-site.xml放在spark/conf下。

KERBEROS

#kerberos
kyuubi.authentication   KERBEROS
kyuubi.kinit.principal  hive/indata-192-168-44-128.indata.com@INDATA.COM
kyuubi.kinit.keytab     /etc/security/keytabs/hive.service.keytab

由于CDH5.16 HIVE是1.1版本。但是spark3編譯默認是2.3.7，會導致報錯Invalid method name: 'get_table_req'
增加如下配置

spark.sql.hive.metastore.version=1.1.0
spark.sql.hive.metastore.jars=path
spark.sql.hive.metastore.jars.path=file:///opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/lib/hive/lib/*

在登錄時，需要在beeline使用用戶登錄，帶上-n 參數，例如

./bin/beeline -u 'jdbc:hive2://10.6.100.84:10009/default' -n hive

否則還是報Invalid method name: 'get_table_req'，很奇怪的問題。

spark3編譯見百度。https://blog.csdn.net/weixin_44957036/article/details/125400182
kyuubi編譯見百度。https://jishuin.proginn.com/p/763bfbd67cf6··

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發(fā)布，文章內容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內容

友情鏈接更多精彩內容