spark on yarn报错 exit code 1的解决方式

spark submit on yarn 提交作业的时候,报错

image.png

由于是本地搭建的伪分布机器,首先想到的是内存分配有问题.在yarn-size.xml中 将 虚拟内存,物理内存检测关闭掉.如下:

<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>

但是问题还是没有解决. 查看yarn ui 寻找问题.找到container的日志显示
Failed while trying to construct the redirect url.....
解决方式:
1 .需要在 mapred-site.xml 增加 History服务
<property>
<name>mapreduce.jobhistory.address</name>
<value>localhost:10020</value>
</property>

<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>localhost:19888</value>
</property>

2. 在yarn-site.xml 中配置
   <property>
   <name>yarn.log.server.url</name>
   <value>http://127.0.0.1:19888/jobhistory/logs</value>
   </property>

现在就能看到container报错信息了. 原因是依赖没有打包进入.

image.png