美文网首页
SparkStreaming反压机制

SparkStreaming反压机制

作者: 土土的简书 | 来源:发表于2018-09-25 20:25 被阅读0次

SparkStreaming的开启反压机制其实就是给StreamingContext添加一个StreamingListener,在JobScheduler中的start代码如下:

关于SparkStreaming的反压机制参考以下简书内容:

https://www.jianshu.com/p/2b4643dec7a4

反压中比较有意思的是对于接收速率的计算采用PID算法

相关文章

网友评论

      本文标题:SparkStreaming反压机制

      本文链接:https://www.haomeiwen.com/subject/nprhoftx.html