美文网首页
04-flink和sparkStreaming比较

04-flink和sparkStreaming比较

作者: yayooo | 来源:发表于2021-06-09 08:55 被阅读0次

一、流（stream）和微批（micro-batching)


微批模式

思想：只要批次足够小，则实时性更好，需要攒批数据然后进行处理。

流模式

思想：所有的数据都是流。

二、数据模型不同

  • spark：采用RDD模型，spark streaming的DStream实际上也就是一组组小微批数据RDD的集合。
  • flink：数据流，以及事件序列。

三、运行时架构不同

  • spark：spark是批计算，将DAG划分为不同的stage，一个完成后才可以计算下一个。
  • flink：是标准的流执行模式，一个事件在一个节点处理完成后可以直接发往下一个节点进行处理。

在分布式spark中，假设某个节点因为数据倾斜或者其他问题而导致某个stage处理时间过长，而其他的节点也就需要等待该节点处理完成才能够进行合并计算。
在分布式flink中，所有节点的某数据，处理完成后，保存state，就可发送到下游，后续来的数据可以根据state去做合并计算。则不需要等待。

相关文章

网友评论

      本文标题：04-flink和sparkStreaming比较

      本文链接：https://www.haomeiwen.com/subject/aksarltx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|04-flink和sparkStreaming比较|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！