一、storm相关概念

1、大数据框架对比

	类型	实时性	高级框架
hadoop	批处理	离线	Thrident
storm	流处理	实时	pig

2、集群结构

在Storm的集群里面有2种节点：控制节点(Master Node)和工作节点(Worker Node)。

控制节点上面运行一个名为Nimbus的进程,它用于资源分配和状态监控；每个工作节点上面运行一个Supervisor的进程，它会监听分配给它所在机器的工作，根据需要启动/关闭工作进程。 Storm集群中每个组件具体描述如下：

Nimbus：负责在集群里面发送代码，分配工作给机器并且监控状态，在集群中只有一个，作用类似Hadoop里面的JobTracker。
ZooKeeper：Storm重点依赖的外部资源，Nimbus、Supervisor和Worker等都是把心跳数据保存在ZooKeeper上，Nimbus也是根据ZooKeeper上的心跳和任务运行状况进行调度和任务分配的。
Supervisor：在运行节点上，监听分配的任务，根据需要启动或关闭工作进程Worker。每一个要运行Storm的机器上都运行一个Supervisor，并且按照机器的配置设定上面分配的槽位数。
Worker：在Supervisor上创建的一个JVM实例，Worker中运行Executor，而Executor作为Task运行的容器。
Executor：运行时Task所在的直接容器，在Executor中执行Task的处理逻辑。一个或多个Executor实例可以运行在同一个Worker进程中，一个或多个Task可以运行于同一个Executor中；在Worker进程并行的基础上，Executor可以并行，进而Task也能够基于Executor实现并行计算。
Task：Spout/Bolt在运行时所表现出来的实体，都称为Task，一个Spout/Bolt在运行时可能对应一个或多个Spout Task或Bolt Task，与实际在编写Topology时进行配置有关。在Storm0.8之后，Task不再与物理线程对应，同一个Spout Task或Bolt Task可能会共享一个物理线程，该线程称为Executor。

	主节点	工作节点	作业
hadoop	Jobtracker	Tasktracker	MapReduce Job，执行完自动结束
storm	Nimbus	Supervisor	topologis（拓扑），死循环

3、storm工作原理

关键名词：Nimbus；Supervisor；stream；tuple；Spout；Bolt

Nimbus 负责在集群分发的代码，topologis（拓扑）只能在nimbus机器上提交，将任务分配给其他机器、以及故障监测。
Supervisor，监听分配给它的节点，根据Nimbus 的委派在必要时启动和关闭工作进程。 每个工作进程执行topology 的一个子集。一个运行中的topology 由很多运行在很多机器上的工作进程组成。

在Storm中有对于stream（流）的抽象，流是一个不间断的无界的连续tuple。注意Storm在建模事件流时，把流中的事件抽象为tuple（即元组）。

Storm认为每个stream都有一个源，也就是原始元组的源头，叫做Spout（管口）。
处理stream内的tuple，抽象为Bolt，bolt可以消费任意数量的输入流，只要将流方向导向该bolt，同时它也可以发送新的流给其他bolt使用，这样一来，只要打开特定的spout再将spout中流出的tuple导向特定的bolt，bolt又对导入的流做处理后再导向其他bolt或者目的地。
可以认为spout就是水龙头，并且每个水龙头里流出的水是不同的，我们想拿到哪种水就拧开哪个水龙头，然后使用管道将水龙头的水导向到一个水处理器（bolt），水处理器处理后再使用管道导向另一个处理器或者存入容器中。
为了增大水处理效率，我们很自然就想到在同个水源处接上多个水龙头并使用多个水处理器，这样就可以提高效率。
这是一张有向无环图，Storm将这个图抽象为Topology(拓扑)，Topo就是storm的Job抽象概念，一个拓扑就是一个流转换图。图中每个节点是一个spout或者bolt，每个spout或者bolt发送元组到下一级组件。而Spout到单个Bolt有7种流分组策略。

Storm定义了如下7种分发策略：Shuffle Grouping（随机分组）、Fields Grouping（按字段分组）、All Grouping（广播分组）、Global Grouping（全局分组）、Non Grouping（不分组）、Direct Grouping（直接分组）、Local or Shuffle Grouping（本地/随机分组）

Storm将流中元素抽象为tuple，一个tuple就是一个值列表value list，list中的每个value可以是任意可序列化的类型。拓扑的每个节点都要说明它所发射出的元组的字段的name，其他节点只需要订阅该name就可以接收处理。

4、说明

1、streams：消息流

消息流是一个没有边界的tuple序列，而这些tuples会被以一种分布式的方式并行创建和处理。
每个tuple可以包含多列，字段类型可以是： integer, long, short, byte, string, double, float, boolean和byte array。 你还可以自定义类型————只要你实现对应的序列化器。

2、spouts：消息源

Spouts是topology消息生产者。Spout从一个外部源(消息队列)读取数据向topology发出tuple。
消息源Spouts可以是可靠的也可以是不可靠的。一个可靠的消息源可以重新发射一个处理失败的tuple， 一个不可靠的消息源Spouts则不会。
Spout类的方法nextTuple不断发射tuple到topology，storm在检测到一个tuple被整个topology成功处理的时候调用ack, 否则调用fail。
storm只对可靠的spout调用ack和fail。

3、Bolts：消息处理者

消息处理逻辑被封装在bolts里面，Bolts可以做很多事情： 过滤， 聚合， 查询数据库等。

Bolts可以简单的做消息流的传递。复杂的消息流处理往往需要很多步骤， 从而也就需要经过很多Bolts。第一级Bolt的输出可以作为下一级Bolt的输入。而Spout不能有一级。

Bolts的主要方法是execute（死循环）连续处理传入的tuple，成功处理完每一个tuple调用OutputCollector的ack方法，以通知storm这个tuple被处理完成了。当处理失败时，可以调fail方法通知Spout端可以重新发送该tuple。

流程是： Bolts处理一个输入tuple, 然后调用ack通知storm自己已经处理过这个tuple了。storm提供了一个IBasicBolt会自动调用ack。

Bolts使用OutputCollector来发射tuple到下一级Blot。

一组形象的类比：

	得到的数据	处理
storm	Spout	Bolt
hadoop	Map（读hdfs文件）	reduce
message queen	Productor	Consumer