为什么开发Thor系统
Storm更多的只是一个实时的并行计算框架，很多问题需要额外地处理，如，数据如何接入Storm的计算流？对不同的数据类型如何处理？计算数据怎么存？系统怎么监控等等。为了解决这一系列的问题，在Storm的基础上规划了Thor这样一个完善的计算平台。
Thor系统的受众
有明显的实时特性，数据计算量超过单台处理能力，追求高稳定性、简易开发的计算需求。
thor架构
Node Cluster
消息生产集群，接入不同的数据源类型，生产待计算的原始消息。如接收sdn推送的监控采集数据，以每一行为一条计算数据提交。
Message Cluster
使用kafka消息中间件，暂存计算消息。实现数据的流式输入。
Jstorm Cluster
核心计算集群，基于storm的java版本，改进HA问题和计算性能优化。
Monitor Cluster
集群状态监控，负责进行集群内部的组件状态、topology计算状态的监控报警
Thor UI
UI作为实时计算平台的运营界面，主要任务是各个组件的运行状态收集、消息任务配置、监控报警展示、系统配置等。
状态码告警示例：
为什么开发Thor系统 Storm更多的只是一个实时的并行计算框架，很多问题需要额外地处理，如，数据如何接入Sto...
一、大数据云平台应当具备 Real time 实时 海量实时计算 数据实时录入 动态实时标签 平台实时监控 数据实...
本文介绍了百信银行实时计算平台的建设情况，实时数据湖构建在 Hudi 上的方案和实践方法，以及实时计算平台集成 H...
阿里巴巴的数据计算层包括两大体系： 数据存储及计算平台离线计算平台MaxCompute实时计算平台StreamCo...
Watermark 是 Flink 实时处理计算平台的一个重要概念，也是 Google 的著名实时计算论文 The...
摘要：贝壳找房大数据平台实时计算负责人刘力云带来的分享内容是贝壳找房的实时计算演进之路，内容如下：发展历程平台建设...
斗鱼实时计算平台的演进 我是吴瑞诚，来自斗鱼，很高兴能有机会和大家分享斗鱼TV实时计算平台的演进。 做一个简单的自...
本文由 Bigo 计算平台负责人徐帅分享，主要介绍 Bigo 实时计算平台建设实践的介绍。内容包括： Bigo 实...
本文由 Bigo 计算平台负责人徐帅分享，主要介绍 Bigo 实时计算平台建设实践的介绍。内容包括： Bigo 实...
简介： 本文由 Bigo 计算平台负责人徐帅分享，主要介绍 Bigo 实时计算平台建设实践的介绍 本文由 Bigo...
本文标题：实时计算平台-thor
本文链接：https://www.haomeiwen.com/subject/ymedpqtx.html
网友评论