spark 优先使用用户自定义jar包

问题背景

• 使用 ambari 搭建的hadoop 集群，自己搭建升级了spark 版本以后，之前应用程序依赖 httpclient（4.5.2） 包版本比新spark 环境中 httpclient（4.5.4） 版本低，导致编译后的代码无法在集群运行，需要调整版本兼容性来处理问题。

错误详情

image.png

解决方案

spark-submit --master yarn --class xxx.xxx.Main --conf spark.driver.userClassPathFirst=true --conf spark.executor.userClassPathFirst=true  --jars xxx/xxx.jar,xxx1.jar  spark.yarn.dist.jars=.xxx/xxx2.jar

参考信息

• https://spark.apache.org/docs/latest/configuration.html
• https://github.com/apache/incubator-hudi/issues/817