美文网首页超级大数据
Storm Trident介绍

Storm Trident介绍

作者: 裘马轻狂大帅 | 来源:发表于2019-06-15 23:05 被阅读1次

一、概述

    Storm Trident中的核心数据模型就是“Stream”,也就是说,Storm Trident处理的是Stream,但是实际上Stream是被成批处理的,Stream被切分成一个个的Batch分布到集群中,所有应用在Stream上的函数最终会应用到每个节点的Batch中,实现并行计算。

在Trident中有五种操作类型:

1Apply Locally:本地操作,所有操作应用在本地节点数据上,不会产生网络传输   

2Repartitioning:数据流重定向,单纯的改变数据流向,不会改变数据内容,这部分会有网络传输

3Aggragation:聚合操作,会有网络传输

4Grouped streams上的操作

5Merge和Join

小结:上面提到了Trident实际上是通过把函数应用到每个节点的Batch上的数据以实现并行,而应用的这些函数就是TridentAPI。

相关文章

网友评论

    本文标题:Storm Trident介绍

    本文链接:https://www.haomeiwen.com/subject/fqoifctx.html