Ambari 集群中，hdfs上存在一个压缩包/hdp/apps/2.6.2.0-205/spark2/spark2-hdp-yarn-archive.tar.gz。
spark on yarn 提交任务后，会将该文件下载到本地，如图：
image.png
目前看只有重启spark history server，才会将本地/usr/hdp/2.6.2.0-205/spark2/jars/ 下jar包打包成spark2-hdp-yarn-archive.tar.gz上传。
如果需要添加新的第三方jar，可以手工打包上传。
网友评论