spark遇到的坑坑坑

问题1：内存溢出
WARN TaskSetManager:66 - Lost task 0.1 in stage 2.1 (TID 334, hbasenode2, executor 2): FetchFailed(BlockManagerId(3, hbasenode3, 43497, None), shuffleId=6, mapId=1, reduceId=0, message=
org.apache.spark.shuffle.FetchFailedException: Failed to connect to hbasenode3/..13.198:43497
问题描述：在替换文件运行任务时出现的错，而将以前的老代码替换上去却依旧出错
在深入查找中发现了内存溢出的问题
解决思路：扩大内存配置，在启动命令和 yarn的配置中添加
在代码方面尽量减少使用将数据汇集到同一个内存中的操作如groupBy