美文网首页
hive查询大数据量得到结果不同

hive查询大数据量得到结果不同

作者: analanxingde | 来源:发表于2018-10-09 11:24 被阅读187次

    记录一个小操作的bug:
    诡异的case:在执行一个select语句后,不同时间得到的查询结果数据量不同
    原因:

    执行状态
    此时,只是sql查询结束,而对于其结果需要写入3.546G的数据,写入数据尚未结束,sql没有完全执行结束。误以为是执行完毕,ctrl+z杀死了进程,导致结果不完整,两次运行时杀死进程的时间不一致,结果数量就有了偏差。
    运行结束
    此状态出现,且下一行回到到shell环境中,查询结果才写完,此时才是完整的一次sql执行。

    相关文章

      网友评论

          本文标题:hive查询大数据量得到结果不同

          本文链接:https://www.haomeiwen.com/subject/zcleaftx.html