Ambari 集群中,hdfs上存在一个压缩包/hdp/apps/2.6.2.0-205/spark2/spark2-hdp-yarn-archive.tar.gz。
spark on yarn 提交任务后,会将该文件下载到本地,如图:

目前看只有重启spark history server,才会将本地/usr/hdp/2.6.2.0-205/spark2/jars/ 下jar包打包成spark2-hdp-yarn-archive.tar.gz上传。
如果需要添加新的第三方jar,可以手工打包上传。
网友评论