问题1、map/reduce过程中报错：
第一种报错：“java.lang.OutOfMemoryError: GC overhead limit exceeded“
第二种报错：“java.lang.OutOfMemoryError: Java heapspace”
第三种报错：“running beyondphysical memory limits.Current usage: 4.3 GB of 4.3 GBphysical memory used; 7.4 GB of 13.2 GB virtual memory used. Killing container”。
分析：这三种报错是由于map task或reduce task在container中运行时处理数据需要的内存资源与申请分配到的资源不匹配造成，
处理：这时可以在原资源基础上调大对应的map和reduce申请资源的参数以及对应jvm参数：
set mapreduce.map.memory.mb=6144;
set mapreduce.map.java.opts=-Xmx4608M;（根据需要更改具体值，但这对参数的比例是1:0.75）
set mapreduce.reduce.memory.mb = 8192;
set mapreduce.reduce.java.opts = -Xmx6144M;（根据需要更改具体值，但这对参数的比例是1:0.75）
同时也可以提升vcore的数量，加快container的计算，降低oom的几率
set mapreduce.map.cpu.vcores = 4
set mapreduce.reduce.cpu.vcores = 8
问题2、MRAppMaster报错java.lang.OutOfMemoryError thrown from theUncaughtExceptionHandler
分析：如果job输入的数据很大，导致产生了大量的Mapper和Reducer，MRAppMaster压力很大，最终导致MRAppMaster内存不足
处理：这时可以适当调大am的相关内存参数：
set yarn.app.mapreduce.am.command-opts=-Xmx4608M
set yarn.app.mapreduce.am.resource.mb=8192
set yarn.app.mapreduce.am.resource.cpu-vcores=10
问题3、客户端报错：java.io.IOException:Split metadata size exceeded 10000000
分析：hadoop参数重mapreduce.job.split.metainfo.maxsize 参数默认设置10M，
job.splitmetainfo该文件记录split的元数据信息，如input文件过多，记录的文件结构信息超出默认设置就会报错；输入文件包括大量小文件或者文件目录，造成Splitmetainfo文件超过默认上限。这个机制也是hadoop集群要求文件大小不能过小或目录过多，避免namenode出现元数据加载处理瓶颈。如block默认128M，则文件应大于这个，尽量合并小文件。
处理：可临时调整参数忽略此校验：
set mapreduce.job.split.metainfo.maxsize=-1
或者将此值设置的更大：
set mapreduce.job.split.metainfo.maxsize=20000000
问题4、因map数超阈值被kill
可根据集群预置调整map数
分析：map数主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小
1. 如果读取的表中有太多小文件会导致map数过多，可以通过设置以下参数在map执行前合并小文件，以降低map数：
set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
set hive.hadoop.supports.splittable.combineinputformat = true;
set mapreduce.input.fileinputformat.split.maxsize = 256000000;
set mapreduce.input.fileinputformat.split.minsize.per.node=256000000;
set mapreduce.input.fileinputformat.split.minsize.per.rack=256000000;
2.对于数据量过大的问题
1）如果文本类型文件，如txt、orc数据量太大，可以通过调整每个map处理的数据量来降低map数
set mapreduce.input.fileinputformat.split.maxsize = 256000000;
set mapreduce.input.fileinputformat.split.minsize = 256000000;
2）如果是lzo格式表，可以设置跳过文件索引
set hive.lzo.use.index=false;
这时需搭配调高map的内存以及vcore数量
set mapreduce.map.memory.mb=6144;（根据需要根据文件大小设置）
set mapreduce.map.java.opts=-Xmx4608M;（这对参数的比例是1:0.75）
set yarn.app.mapreduce.am.resource.cpu-vcores=10
注：如果因为数据量太大导致map和reduce运行缓慢，可以调大资源申请量（注意map和reduce对应的一对参数的设置比例为1:0.75）
// MAP YARN 申请内存
set mapreduce.map.memory.mb=6144;
// MAP JVM 内存
set mapreduce.map.java.opts=-Xmx4608M;（根据需要更改具体值）
// REDUCE YARN 申请内存
set mapreduce.reduce.memory.mb=8192;
// REDUCE JVM 内存
set mapreduce.reduce.java.opts=-Xmx4096M;（根据需要更改具体值）
网友评论