美文网首页
storm学习第四天 性能优化

storm学习第四天 性能优化

作者: 小王同学加油 | 来源:发表于2017-08-29 15:24 被阅读71次

    1 storm如何禁止失败情况下重发
    问题描述:因为测试 造了一个错误数据,
    造成同一个记录会被反复的重新发送 死循环在哪里 造成无法处理
    下一个请求 大量failed
    原因分析:
    一个任务标记是失败的时候会重新发送 造成死循环

    strom消息处理3个方式
    1 at-most-once:spout针对相同的tuple只发送一次即可,不需要实现fail和ack方法
    2 at-least-once:是用acker机制实现的
    3 exactly-once:使用storm的高级部分trident实现

    image.png

    检查代码采用方式 2
    发现异常数据 我标记this.collector.faild(input) 继续处理
    此时应该标记成功就可以了this.collector.ack(input)

    参考

    相关文章

      网友评论

          本文标题:storm学习第四天 性能优化

          本文链接:https://www.haomeiwen.com/subject/mgdzcxtx.html