美文网首页
spark streaming优点和缺点

spark streaming优点和缺点

作者: scott_alpha | 来源:发表于2019-10-19 17:35 被阅读0次

    优点:spark streaming会被转化为spark作业执行,由于spark作业依赖DAGScheduler和RDD,所以是粗粒度方式而不是细粒度方式,可以快速处理小批量数据,获得准实时的特性;
    以spark作业提交和执行,很方便的实现容错机制;
    DStreaming是在RDD上的抽象,更容易与RDD进行交互操作。需要将流式数据与批数据结合分析的情况下,非常方便。
    缺点:不可避免的延迟

    相关文章

      网友评论

          本文标题:spark streaming优点和缺点

          本文链接:https://www.haomeiwen.com/subject/zydnmctx.html