kafka的拓补结构
image.png
一个kafka集群包含诺干个producer（可以是命令行下面的commond，应用程序里面的调用的接口，前端的产生的page view和埋点数据，或者是服务器日志，cpu，memeory等），诺干个broker，kafka集群支持水平拓展，一般broker越多，kafka的整个kafka集群的吞吐量也就越高，诺干个consumer Group ，以及一个zookeeper集群。kafka通过zookeeper管理集群的配置和元数据信息。
一个消息的简单发送流程
1.producer根据指定的路由（key的hash，指定partition，round-robin），将信息push到topic的某一个partition里面。
2.kafka集群接收消息，将其持久化到磁盘，并保留消息指定时长（可以配置，默认是一周），不关注消息是否被消费
3.consuemr从kafka集群pull数据，并控制消息对应的offset
网友评论