hive第三方jar场景

1、hive使用第三方jar场景

• 使用新的引擎比如tez，hudi等时需要添加jar
• 编写udf

2、添加jar的方式

2.1、add jar

这种方式只对当前shell有效，用于临时udf

将第三方jar包上传到HDFS
hdfs dfs -put udf.jar /tmp/hive/
hive命令行添加jar包：
hive> add jar hdfs:///tmp/hive/udf.jar;    

2.2、通过hive.aux.jars.path

• 永久udf也可以放入这里，不用自己在去add jar
• 集成tez，hudi等

2.2.1、hive-env.sh

一般在适配tez,hudi等需要多个jar时通过配置hive-env.sh添加。tez集成示例

创建一个本地目录，把jar包都放进去。
mkdir /export/hive/dependencie_lib
修改hive-env.sh 增加配置
export HIVE_AUX_JARS_PATH=/export/hive/dependencie_lib

2.2.1、hive-site.xml

创建一个本地目录，把jar包都放进去。
mkdir /export/hive/dependencie_lib
修改hive-site.xml 增加配置，多个jar包用,隔开。
<property>
 <name>hive.aux.jars.path</name>
 <value>file:///export/hive/dependencie_lib/dependencie1.jar,
 file:///export/hive/dependencie_lib/dependencie2.jar</value>
</property>