实时计算平台-thor

为什么开发Thor系统

Storm更多的只是一个实时的并行计算框架，很多问题需要额外地处理，如，数据如何接入Storm的计算流？对不同的数据类型如何处理？计算数据怎么存？系统怎么监控等等。为了解决这一系列的问题，在Storm的基础上规划了Thor这样一个完善的计算平台。

Thor系统的受众

有明显的实时特性，数据计算量超过单台处理能力，追求高稳定性、简易开发的计算需求。

thor架构

Node Cluster

消息生产集群，接入不同的数据源类型，生产待计算的原始消息。如接收sdn推送的监控采集数据，以每一行为一条计算数据提交。

Message Cluster

使用kafka消息中间件，暂存计算消息。实现数据的流式输入。

Jstorm Cluster

核心计算集群，基于storm的java版本，改进HA问题和计算性能优化。

Monitor Cluster

集群状态监控，负责进行集群内部的组件状态、topology计算状态的监控报警

Thor UI

UI作为实时计算平台的运营界面，主要任务是各个组件的运行状态收集、消息任务配置、监控报警展示、系统配置等。

状态码告警示例：