美文网首页flink学习
Flink 程序执行调优(持续更新中...)

Flink 程序执行调优(持续更新中...)

作者: FishMAN__ | 来源:发表于2020-09-29 10:33 被阅读0次

1. 消费kafka的调优

  • 关于并行度
    消费kafka的并行度我们都知道source端保持跟kafka的分区一致,因为设置多了浪费,少了有压力。
    那设置一个taskmanager设置多少个并行度合适呢?
    在生产环境实践中,不建议一个并行度一个taskmanager,因为容易其中一个并行度它的taskmanager波动太大导致任务挂掉,建议2个或者多个一个taskmanger,不要太多,太多的并行度挤在同一个taskmanager,也不利于这个taskmanager所在机器节点的性能,例如网络IO等等。。

2.

相关文章

网友评论

    本文标题:Flink 程序执行调优(持续更新中...)

    本文链接:https://www.haomeiwen.com/subject/kxljuktx.html