kafka基础

tar xvf kafka_2.12-2.3.0.tgz

// 修改server.properties配置文件
vi /opt/kafka_2.12-2.3.0/config/server.properties
    # broker的全局唯一编号，不能重复
    broker.id=0
    # 监听
    listeners=PLAINTEXT://:9092
    # 日志目录
    log.dirs=/home/hadoop/kafka-logs
    # 配置zookeeper的连接（如果不是本机，需要该为ip或主机名）
    zookeeper.connect=localhost:2181

// 启动kafka
/opt/kafka_2.12-2.3.0/bin/kafka-server-start.sh /opt/kafka_2.12-2.3.0/config/server.properties

# 使用jps名称查看是否正常运行
$ jps
9173 Kafka
9462 Jps
8589 QuorumPeerMain

Kafka的简单使用

创建topic

bin目录下：
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
参数说明： 
–zookeeper：指定kafka连接zk的连接url，该值和server.properties文件中的配置项{zookeeper.connect}一样 
–replication-factor：指定副本数量 
–partitions：指定分区数量 
–topic：主题名称

查看topic

bin目录下：
kafka-topics.sh --list --zookeeper localhost:2181

创建一个生产者

bin目录下：
./kafka-console-producer.sh --broker-list localhost:9092 --topic test

创建一个消费者

bin目录下：
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning 
tips：
 1. --from-beginning 是否消费原始数据（该消费者启动器产生的数据）
 2. 旧版使用参数--zookeeper localhost:2181（consumer的信息将会存放在zk中）新版使用参数：--bootstrap-server localhost:9092（consumer的信息将会存放在kafka中）