Kafka

作者: ___Hello | 来源:发表于2019-12-01 14:14 被阅读0次

Kafka搭建环境
0.8版本、0.10版本跟sparkStreaming适配问题需要注意

选用0.10以上版本，
学习使用kafka_2.11-0.9.0.0
生产中使用0.10即可

kafka配置

./kafka_2.11-0.9.0.0/config/server.properties

  //修改临时目录
  log.dirs = xxx/logs/kafka-logs
  //修改使用自己的zk
  zookeeper.connect = hadoop001:2181

Kafka启动

kafka启动依赖zookeeper
先启动zk

//启动服务端
kafka_2.11-0.9.0.0/bin/kafka-server-start.sh -daemon ../config/server.properties
//检查kafka启动情况
jps
//创建topic
kafka-topics.sh --create --zookeeper hadoop001:2181 --replication-factor 1 --partitions 1 --topic zxk01
//查看topic
kafka-topics.sh --zookeeper:2181  --list
 //启动消费者
kafka-console-consumer.sh --zookeeper hadoop001:2181 --topic zxk01
//启动生产者
  kafka-console-producer.sh --broker-list hadoop001:9092 --topic zxk01