错误1
spark2-shell中,sc.map.collect会报错
再后来打开spark2-shell也会warning:
spark报错:warn util.utils::service 'sparkUI' can not bind on part 4040.Attempting port 4041.
可能1 spark-shell里面又单独的设置了spark的context,因为spark-shell里已经有一个context对象了,所以你新建创建的数据无法使用
可能2 主要就是数据库的端囗都已经被占满了,而且无法释放
>应该是有一个sparkcontext在了
>查看是否有应用在用sparkcontext
用yarn application -list
>杀掉该应用
yarn application -kill application_1544008547077_0071
错误2
cluster.YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
解决方法:
到各个节点释放内存
>free -g 查看内存
>sync
>echo 3 > /proc/sys/vm/drop_caches
错误3
existcode 10
原因:
>权限不对,jar包,hdfs文件要放到用户能够获取的位置
网友评论