美文网首页超级大数据
Storm Trident介绍

Storm Trident介绍

作者: 裘马轻狂大帅 | 来源:发表于2019-06-15 23:05 被阅读1次

    一、概述

        Storm Trident中的核心数据模型就是“Stream”,也就是说,Storm Trident处理的是Stream,但是实际上Stream是被成批处理的,Stream被切分成一个个的Batch分布到集群中,所有应用在Stream上的函数最终会应用到每个节点的Batch中,实现并行计算。

    在Trident中有五种操作类型:

    1Apply Locally:本地操作,所有操作应用在本地节点数据上,不会产生网络传输   

    2Repartitioning:数据流重定向,单纯的改变数据流向,不会改变数据内容,这部分会有网络传输

    3Aggragation:聚合操作,会有网络传输

    4Grouped streams上的操作

    5Merge和Join

    小结:上面提到了Trident实际上是通过把函数应用到每个节点的Batch上的数据以实现并行,而应用的这些函数就是TridentAPI。

    相关文章

      网友评论

        本文标题:Storm Trident介绍

        本文链接:https://www.haomeiwen.com/subject/fqoifctx.html