一、概述
Storm Trident中的核心数据模型就是“Stream”,也就是说,Storm Trident处理的是Stream,但是实际上Stream是被成批处理的,Stream被切分成一个个的Batch分布到集群中,所有应用在Stream上的函数最终会应用到每个节点的Batch中,实现并行计算。
在Trident中有五种操作类型:
1Apply Locally:本地操作,所有操作应用在本地节点数据上,不会产生网络传输
2Repartitioning:数据流重定向,单纯的改变数据流向,不会改变数据内容,这部分会有网络传输
3Aggragation:聚合操作,会有网络传输
4Grouped streams上的操作
5Merge和Join
小结:上面提到了Trident实际上是通过把函数应用到每个节点的Batch上的数据以实现并行,而应用的这些函数就是TridentAPI。
网友评论