美文网首页
Storm流分组源码分析

Storm流分组源码分析

作者: 翱翔云端 | 来源:发表于2018-05-21 14:21 被阅读0次
Topology

本文不是停留在字面上去总结Storm的流分组方式,而是列出Storm流分组实现的源码位置,看了源码,对各种流分组也就可以做到知其所以然了。
各种流分组一览,源码位置

org.apache.storm.topology.InputDeclarer<T extends InputDeclarer>

读读这个接口的源码,Storm支持的所有流分组方式瞬间收入囊中。
1.shuffle grouping源码位置

org.apache.storm.grouping.ShuffleGrouping

2.fields grouping源码位置

org.apache.storm.trident.partition.IndexHashGrouping

3.global grouping源码位置

org.apache.storm.trident.partition.GlobalGrouping

4.local or shuffle grouping源码位置

org.apache.storm.grouping.LoadAwareShuffleGrouping

5.none grouping源码位置

org.apache.storm.testing.NGrouping

6.all grouping
源码位置我没找到,不过看了其他流分组方式的源码,这种分组方式的实现也就豁然开朗了。
7.direct grouping源码位置

org.apache.storm.trident.partition.IdentityGrouping

8.partial key grouping源码位置

org.apache.storm.grouping.PartialKeyGrouping

9.custom grouping
自定义分组,实现接口

org.apache.storm.grouping.CustomStreamGrouping

看了其他流分组方式的源码,你会发现所有流分组的实现类都实现了CustomStreamGrouping接口,因此,实现自定义流分组的方法也就一目了然了。

相关文章

  • Storm流分组源码分析

    本文不是停留在字面上去总结Storm的流分组方式,而是列出Storm流分组实现的源码位置,看了源码,对各种流分组也...

  • 32 storm 单词计数

    上一篇 简单看 storm, 主要简单讲解了storm 的集群架构、核心概念、并行度、流分组,本篇利用 storm...

  • storm的流id

    玩过storm的人都知道storm有流分组的概念。但上级组件传递给下一集组件的策略。但其实stomr还有流id的概...

  • 大数据技术未来发展前景及趋势分析

    流大数据分析 Storm: Apache Storm是一种开源的分布式实时计算系统。Storm加速了流数据处理的过...

  • 大数据技术未来发展前景及趋势分析

    流大数据分析 Storm: Apache Storm是一种开源的分布式实时计算系统。Storm加速了流数据处理的过...

  • Storm Trident之二事务控制

    Storm中的事务控制是门艺术,其中ack机制是精髓,可以参考Storm源码分析 一书,其中有精彩的分析。 在st...

  • 18. Storm基础

    1. Storm介绍: Storm是实时流计算框架。企业中典型实时分析框架搭建模式: Flume + Kafka ...

  • Flink-02-实践

    电商用户行为分析 1 概述 批流回顾 批: hadoop spark流: storm flink 批处理特点有界 ...

  • Storm和hadoop对比及storm组件

    storm hadoop实时流处理 ...

  • netty : NioEventLoopGroup 源码分析

    NioEventLoopGroup 源码分析 1. 在阅读源码时做了一定的注释,并且做了一些测试分析源码内的执行流...

网友评论

      本文标题:Storm流分组源码分析

      本文链接:https://www.haomeiwen.com/subject/daefjftx.html