只记有问题的点。
首先配置spark3的环境变量在$KYUUBI_HOME/conf/kyuubi-env.sh
Spark Engine
SPARK_HOME=~/Downloads/spark-3.2.0-bin-hadoop3.2
Flink Engine
FLINK_HOME=/Downloads/flink-1.15.1
配置$KYUUBI_HOME/conf/kyuubi-defaults.conf
Flink Engine
kyuubi.engine.type FLINK_SQL
Starting Kyuubi
直接执行 bin/kyuubi start
后台运行 bin/kyuubi run
在spark中配置hive服务，将hive-site.xml放在spark/conf下。
KERBEROS
#kerberos
kyuubi.authentication KERBEROS
kyuubi.kinit.principal hive/indata-192-168-44-128.indata.com@INDATA.COM
kyuubi.kinit.keytab /etc/security/keytabs/hive.service.keytab
由于CDH5.16 HIVE是1.1版本。但是spark3编译默认是2.3.7，会导致报错Invalid method name: 'get_table_req'
增加如下配置
spark.sql.hive.metastore.version=1.1.0
spark.sql.hive.metastore.jars=path
spark.sql.hive.metastore.jars.path=file:///opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/lib/hive/lib/*
在登录时，需要在beeline使用用户登录，带上-n 参数，例如
./bin/beeline -u 'jdbc:hive2://10.6.100.84:10009/default' -n hive
否则还是报Invalid method name: 'get_table_req'，很奇怪的问题。
spark3编译见百度。https://blog.csdn.net/weixin_44957036/article/details/125400182
kyuubi编译见百度。https://jishuin.proginn.com/p/763bfbd67cf6··
网友评论