美文网首页我爱编程
QA: trying to load more than 32

QA: trying to load more than 32

作者: Kigo | 来源:发表于2018-03-13 23:03 被阅读117次

错误描述

使用MR进行HFile Bulkload时候,发生错误异常信息:
trying to load more than 32 hfiles to one family of one region

解决方法

  • 如使用命令启动,则可用-D指定参数
    hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles -Dhbase.mapreduce.bulkload.max.hfiles.perRegion.perFamily=1024 <SOURCE> <TABLE>

  • 如使用配置文件形启动式:
    在hbase-site.xml 追加或修改如下配置为合适值:

<property>
        <name>hbase.mapreduce.bulkload.max.hfiles.perRegion.perFamily</name>
        <value>32</value>
</property>
  • 其他:
    生成HFile与实际表分区差异较大,load时候需要split,检查生成HFile的方式策略

相关文章

网友评论

    本文标题:QA: trying to load more than 32

    本文链接:https://www.haomeiwen.com/subject/ppfxqftx.html