美文网首页
10. Flink在使用Window时出现数据倾斜,你有什么解决

10. Flink在使用Window时出现数据倾斜,你有什么解决

作者: bigdata张凯翔 | 来源:发表于2020-08-22 00:05 被阅读0次

    注意:这里window产生的数据倾斜指的是不同的窗口内积攒的数据量不同,主要是由源头数据的产生速度导致的差异。

    核心思路:1.重新设计key 2.在窗口计算前做预聚合

    可以参考这个:
    https://blog.csdn.net/it_lee_j_h/article/details/88641894

    相关文章

      网友评论

          本文标题:10. Flink在使用Window时出现数据倾斜,你有什么解决

          本文链接:https://www.haomeiwen.com/subject/ryxlzhtx.html