【Kafka】企业级应用实践

1. 背景

首先小范围的项目应用，想怎么用都可以。但是真正的企业级应用就不一样了，其中并不仅仅只是读/写数据那么简单,还需要各种周边配套设施，本文的主要目的是介绍一下
在企业级应用中,主要包含哪些配套设施，来保障Kafka的稳定性

2. 周边配套

image.png

3. 配套详解

• 运维平台

  Kafka集群的日常运维操作，主要包括Leader切换、磁盘均衡、分区扩容、服务部署与下线、磁盘损坏自动化处理、Topic限流、Topic删除等

• 用户平台

  面向用户的Topic信息操作，主要包括读/写流量查询、磁盘量与分区数查询、Topic注册、Topic流量报警配置等

• 监控平台

  基础环境与Kafka相关的监控数据方便问题排查与性能优化，主要包括服务器硬件(CPU、网卡、磁盘)指标、Kakfa集群指标、ZK指标等

• 版本维护

  无论使用任何Kafka版本都免不了遇到Bug，所以需要团队内部维护一个版本主要用于Bug修复、二次开发、性能优化等

• 报警平台

  结合监控指标配置报警级别，主要分电话、短信、邮箱等，报警项可分磁盘IO、磁盘存储、Broker端口、Broker读/写延迟、集群副本同步等

• 实时计算

  面向用户实时计算的平台，通过平台提供的标准化读/写组件(Storm、Flink、Spark)，用户只需要关心业务代码即可，通过平台用户可一键部署、停止、回溯消费等操作

• 日志收集

  通过Socket收集、磁盘收集等，规范化用户接入方式，可主动发现日志丢失、日志收集拥堵等问题

• 社区跟踪

  主要关注Kafka社区的新功能、版本中存在的Bug，便于提前发现问题