啥也不说了 ,两个月的时间在这个问题上跌了两个跟头。
第一个跟头:线上kafka是1.0,我编译代码用的0.10.1,结果总是消费一个分区的数据,和同事各种排查,最后得知是“版本冲突的问题”,之后编译时指定1.0就可以了
第二个跟头:因为第一个跟头没摔明白,以为只消费一个分区数据的问题是版本冲突的问题,所以当kakfa集群为0.10的时候,我想当然的使用了0.10.1的kafka版本,但是发现数据总是少很多,最后依赖脑子灵光一现,考虑到可能是这个版本的kafka有问题,所以改成0.10.0进行尝试,搞定!!!
结论:kafka0.10.1有问题,避开这个坑
网友评论