美文网首页
spark submit 提交任务时遇到的报错 及 解决方法

spark submit 提交任务时遇到的报错 及 解决方法

作者: 阿略略 | 来源:发表于2019-03-20 20:57 被阅读0次

错误1

spark2-shell中,sc.map.collect会报错

再后来打开spark2-shell也会warning:

spark报错:warn util.utils::service 'sparkUI' can not bind  on part 4040.Attempting port 4041.

可能1 spark-shell里面又单独的设置了spark的context,因为spark-shell里已经有一个context对象了,所以你新建创建的数据无法使用

可能2 主要就是数据库的端囗都已经被占满了,而且无法释放

>应该是有一个sparkcontext在了

>查看是否有应用在用sparkcontext

用yarn application -list

>杀掉该应用

yarn application -kill application_1544008547077_0071


错误2

cluster.YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

解决方法:

到各个节点释放内存

>free -g  查看内存

>sync

>echo 3 > /proc/sys/vm/drop_caches


错误3

existcode 10

原因:

>权限不对,jar包,hdfs文件要放到用户能够获取的位置

相关文章

网友评论

      本文标题:spark submit 提交任务时遇到的报错 及 解决方法

      本文链接:https://www.haomeiwen.com/subject/piotvqtx.html