kafka简介

Apache Kafka 是一个分布式流媒体平台 流媒体平台有三个关键功能:
1.发布和订阅记录流，类似于消息队列或企业消息传递系统。
2.以容错的持久方式存储记录流。
3.记录发生时处理流。
Kafka通常用于两大类应用:
构建可在系统或应用程序之间可靠获取数据的实时流数据管道
构建转换或响应数据流的实时流应用程序

kafka是什么?

在流计算中，kafka主要功能是用来缓存数据，storm可以通过消费kafka中的数据进行流计算。
是一套开源的消息系统，由scala写成。支持javaAPI的。 kafka最初由LinkedIn公司开发，2011年开源。 2012年从Apache毕业。
是一个分布式消息队列，kafka读消息保存采用Topic进行归类。

角色

发送消息:Producer(生产者)
接收消息:Consumer(消费者)

为什么要用消息队列

1)解耦
为了避免出现问题
2)拓展性
可增加处理过程
3)灵活
面对访问量剧增，不会因为超负荷请求而完全瘫痪。
4)可恢复
一部分组件失效，不会影响整个系统。可以进行恢复。
5)缓冲
控制数据流经过系统的速度。
6)顺序保证
对消息进行有序处理。
7)异步通信
akka,消息队列提供了异步处理的机制。允许用户把消息放到队列 ， 不立刻处理。

kafka架构设计

kafka依赖zookeeper，用zk保存元数据信息。
搭建kafka集群要先搭建zookeeper集群。

zk在kafka中的作用?

保存kafka集群节点状态信息和消费者当前消费信息。