美文网首页我爱编程
QA: trying to load more than 32

QA: trying to load more than 32

作者: Kigo | 来源:发表于2018-03-13 23:03 被阅读117次

    错误描述

    使用MR进行HFile Bulkload时候,发生错误异常信息:
    trying to load more than 32 hfiles to one family of one region

    解决方法

    • 如使用命令启动,则可用-D指定参数
      hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles -Dhbase.mapreduce.bulkload.max.hfiles.perRegion.perFamily=1024 <SOURCE> <TABLE>

    • 如使用配置文件形启动式:
      在hbase-site.xml 追加或修改如下配置为合适值:

    <property>
            <name>hbase.mapreduce.bulkload.max.hfiles.perRegion.perFamily</name>
            <value>32</value>
    </property>
    
    • 其他:
      生成HFile与实际表分区差异较大,load时候需要split,检查生成HFile的方式策略

    相关文章

      网友评论

        本文标题:QA: trying to load more than 32

        本文链接:https://www.haomeiwen.com/subject/ppfxqftx.html