美文网首页
2019-08-08工作总结

2019-08-08工作总结

作者: Mr钧 | 来源:发表于2019-08-08 22:59 被阅读0次

1. 遇到的问题: 

    现象: eii有6条数据符合捞数条件,但是没有被捞出来. 也没有日志, 也没有修改痕迹. 

    根因:  partition分区异常时,  第二次跑会重新查数据, 同时,为了支持异常重跑,会记录异常点, 但是异常点的记录只记录分区和第几条异常;  当第二次异常重跑重新查数据时,如果第一次改变了状态的字段, 是partition的where条件字段, 则会导致两次partition的捞取数据量不一致, 从而导致异常点错位. 

    解决办法: 保证partitioner的where条件中, 没有程序会修改的字段即可 . 

相关文章

网友评论

      本文标题:2019-08-08工作总结

      本文链接:https://www.haomeiwen.com/subject/pvhqjctx.html