美文网首页大数据开发
Hive读取CarbonData文件问题调试

Hive读取CarbonData文件问题调试

作者: 君子慎独焉 | 来源:发表于2020-06-03 08:15 被阅读0次

    1. 参考文档

    https://github.com/apache/carbondata/blob/master/docs/hive-guide.md

    2. 问题呈现

    1. select * from test_carbon;没有数据
    2. select count(1) from test_carbon;有值
    3. select distinct name from test_carbon 有值;

    3. 调试步骤

    1. 由于hive读取carbon是使用的serde方式;社区单独把这块拿出来建成一个子项目,位于carbondata/integration/hive里面;前面读取时使用的carbondata整个集成包来测的,这时由于要多次编译代码,使用此子项目,依赖core,comman,hadoop这三个carbondata内的子项目。
    2. 依次编译这几个项目内,根据carbondata大牛(昆哥)的建议,开始往MapredCarbonInputFormat的getSplits方法内加日志,打印文件分片信息;调试后发现没有日志;
    3. 再接着看splitList size为0,最后加到getSplits第一行,还是没有日志;
    4. 早上一直没想通,后来看select 返回的速度,感觉特别快;确定肯定是不同的查询方式;猛然想起select limit好像不走mapreduce,就去查了,查到一个配置项:hive.fetch.task.conversion,默认值为minimal;从图片中可以看到,此配置值选项有三个,more,minimal,还有一个None,不使用此配置。首先设置为None,再select * from,值出来了;再设置剩下的两个都没有值;这个配置项控制是使用直接FetchTask还是启动mapreduce.此时问题已经解决。


      image.png
    5. 为了查看为什么这样,开始下载hive源码,配置远程调试,跟踪代码会发现是直接调用的FetchTask的fetch方法,里面有一步操作,会列出来表下面的文件,这块直接调用的FileSystem的子类DistributedFileSystem,中间没做处理,直接扫描的目录。carbondata的表目录结构是表下面没有文件,文件在Fact/Part0/segmentXXX/files,扫描的文件数量为0,故查不出来数据。


      image.png

      6.为了二次验证以上结论,把其中一个表的数据从segment里面拷贝到表根目录下面,立刻就能查出来结果。


      image.png
      image.png

    相关文章

      网友评论

        本文标题:Hive读取CarbonData文件问题调试

        本文链接:https://www.haomeiwen.com/subject/eatvzhtx.html