上一篇 带你利用zookeeper 分布式锁解决缓存重建冲突， 主要讲解了nginx 并发更新缓存时导致的缓存重建及数据不一致产生及利用zookeeper 分布式锁 解决的方案实现。本篇主要讲解前面虽然做了三级缓存方案，但是针对相同资源的大量请求，依然会导致整个系统崩溃，这种现象称为数据热点问题。那么怎么解决热点问题呢，当然是实现数据的快速预热、对热点数据能够实时感知，然后保证缓存热点数据自动降级。这时候呢， 首先我们需要知道哪些是热点数据，同时要保证实时性、稳定性，这里我们就选择标题说的storm 技术去解决。
关于storm 的介绍和概念，网上太多了，这里不是重点。下面讲讲storm 集群架构、核心概念、并行度、流分组。
storm 集群架构
storm 集群架构就不得不说以下几个名词：Nimbus，Supervisor，ZooKeeper，Worker，Executor，Task
- Nimbus storm
集群架构的主节点，负责元数据的维护、资源调度，实时计算作业的入口 - Supervisor
负责监听工作节点上已经分配的主机作业，启动和停止Nimbus已经分配的工作进程 - ZooKeeper
集群元数据存储，包含拓扑信息topologies、任务分配信息assignments及各类心跳信息 - Worker
具体处理Spout/Bolt逻辑的进程 - Executor
在一个worker JVM进程中运行着多个Java线程。一个executor线程可以执行一个或多个tasks - Task
Worker中每个Spout/Bolt线程，每个Spout和Bolt在集群中会执行许多任务，每个任务对应一个线程执行
storm 集群架构关系
storm 核心概念
同样要知道以下几个名词代表什么：Topology，Spout，Bolt，Tuple，Stream
- Topology
一个运行着的Job，由 spout 和 bolt 组成，包含着处理逻辑及数据流向。 - Spout
Topology流的来源，通常Spout会从外部数据源（队列、数据库等）读取数据，然后封装成Tuple形式，之后发送到Stream中。Spout负责从数据源拉取数据，相当于整个系统的生产者。 - Bolt
负责消费数据并将tuple发送给下一个计算单元。Bolt处理输入的Stream，并产生新的输出Stream。Bolt可以执行过滤、函数操作、Join、操作数据库等任何操作 - Tuple
一次消息传递的基本单元，就是一条数据，每条数据都会被封装在tuple中，在多个spout和bolt之间传递 - Stream
就是一个流，务虚的一个概念，抽象的概念，源源不断过来的tuple，就组成了一条数据流
storm 核心概念关系图
注：每个task就跑这一个spout或者bolt
storm 并行度
其实没什么好讲的，storm 的并行度是task，为什么不是Executor 呢，认为是Executor 的，因为默认的 一个Executor 对应一个task ，但是 一个Executor 可以有多个task，task 才是最小的计算单元，所以并行度是task
storm 流分组
流分组其实定义的是task 到 task 之间的数据流向关系
流分组
流分组的策略也有很多种：
Shuffle Grouping ：随机分组，尽量均匀分布到下游Bolt中
将流分组定义为混排。这种混排分组意味着来自Spout的输入将混排，或随机分发给此Bolt中的任务。shuffle grouping对各个task的tuple分配的比较均匀。
Fields Grouping ：按字段分组，按数据中field值进行分组；相同field值的Tuple被发送到相同的Task
这种grouping机制保证相同field值的tuple会去同一个task
All grouping ：广播
广播发送， 对于每一个tuple将会复制到每一个bolt中处理。
Global grouping ：全局分组，Tuple被分配到一个Bolt中的一个Task，实现事务性的Topology。
Stream中的所有的tuple都会发送给同一个bolt任务处理，所有的tuple将会发送给拥有最小task_id的bolt任务处理。
None grouping ：不分组
不关注并行处理负载均衡策略时使用该方式，目前等同于shuffle grouping,另外storm将会把bolt任务和他的上游提供数据的任务安排在同一个线程下。
Direct grouping ：直接分组 指定分组
由tuple的发射单元直接决定tuple将发射给那个bolt，一般情况下是由接收tuple的bolt决定接收哪个bolt发射的Tuple。这是一种比较特别的分组方法，用这种分组意味着消息的发送者指定由消息接收者的哪个task处理这个消息。 只有被声明为Direct Stream的消息流可以声明这种分组方法。而且这种消息tuple必须使用emitDirect方法来发射。消息处理者可以通过TopologyContext来获取处理它的消息的taskid (OutputCollector.emit方法也会返回taskid)。
注：比较常用的是Shuffle Grouping、Fields Grouping这两种
以上就是本章内容，如有不对的地方，请多多指教，谢谢！
为了方便有需要的人，本系列全部软件都在 https://pan.baidu.com/s/1qYsJZfY
下章预告：主要 结合一个单词计数案例来从代码层面认识storm
作者：逐暗者 （转载请注明出处）
网友评论