1 kafka简介

简介
Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。

架构 介绍一下Kafka的基本概念,它的架构包括以下组件：

Broker是Kafka集群中的一台服务器

话题（Topic）是特定类型的消息流。话题是消息的分类名，每一种消息都是一个Topic，多种消息就创建多个Topic。

生产者（Producer）是能够发布消息到话题的任何对象。对于日志接收服务器，把接收的日志发送到kafka集群，日志接收服务器就是一个生产者

消费者（Consumer）可以订阅一个或多个话题，并从Broker拉数据消费,消费就是处理数据的意思

Partition是物理上的概念，每个Topic包含一个或多个Partition。多个Partition可以扩展kafka的并发性，属于水平扩展。简单的讲就是将一种消息（Topic）分成多个存储块保存到一台或多台Broker上

Consumer Group 每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）。多个Consumer指定同一个组名，每个Consumer消费一个Topic内不同Partition的数据。多个Consumer指定不同的组名，每组Consumer消费的同一个Topic内的多个Partition，互不影响。

Kafka拓扑结构，kafka集群的每个节点都交给Zookeeper管理