Kafka集群搭建
1、上传kafka
上传到/home/bigdata/soft/目录下（或者其他目录）
2、解压重命名
tar -zxvf kafka_2.11-0.10.0.0.tgz
mv kafka_2.11-0.10.0.0 /home/bigdata/apps
3、修改配置
进到config目录下
mkdir /home/bigdata/logs/kafka-logs/
cd /home/bigdata/apps/kafka_2.11-0.10.0.0/config/
vim server.properties
修改内容
#每台brokerId都不相同
broker.id=2 #bigdata02是2,bigdata03是3,bigdata04是4,bigdata05是5
#在log.retention.hours=168 后新增下面三项
message.max.byte=5242880
default.replication.factor=1
replica.fetch.max.bytes=5242880
#设置zookeeper的连接端口
zookeeper.connect=bigdata02:2181,bigdata03:2181,bigdata04:2181,bigdata05:2181
#日志文件的目录，设置成刚刚创建的logs目录
log.dirs=/home/bigdata/logs/kafka-logs/
4、将kafka拷贝到集群节点
scp -r /home/bigdata/apps/kafka_2.11-0.10.0.0/ bigdata@bigdata02:~/apps
scp -r /home/bigdata/apps/kafka_2.11-0.10.0.0/ bigdata@bigdata04:~/apps
scp -r /home/bigdata/apps/kafka_2.11-0.10.0.0/ bigdata@bigdata05:~/apps
注意修改集群节点kafka/config/server.properties 中broker.id值
5、验证集群
集群个节点全部执行
cd /home/bigdata/apps/kafka_2.11-0.10.0.0/
bin/kafka-server-start.sh -daemon config/server.properties
jps打印kafka进程
jps
创建一个topic：
bin/kafka-topics.sh --create --zookeeper bigdata02:2181 --replication-factor 1 --partitions 1 --topic test
查看topic：
bin/kafka-topics.sh --list --zookeeper bigdata02:2181
如果能查看刚创建的topic说明创建topic成功
打开生产者客户端：
bin/kafka-console-producer.sh --broker-list bigdata02:9092 --topic test
在控制台中随便输入一行数据：This is a message
到bigdata03机器上打开一个消费者客户端：
bin/kafka-console-consumer.sh --bootstrap-server bigdata02:9092 --zookeeper bigdata02:2181 --topic test --from-beginning
如果能收到刚刚输入的字符串：This is a message，说明集群搭建成功！
集群压力测试:
模板:
测试生产数据
bin/kafka-producer-perf-test.sh --topic test-topic --num-records 500000 --record-size 200 --throughput -1 --producer-props bootstrap.servers=bigdata02:9092,bigdata03:9092,bigdata04:9092,bigdata05:9092 acks=-1
测试消费数据
bin/kafka-consumer-perf-test.sh --broker-list bigdata02:9092,bigdata03:9092,bigdata04:9092,bigdata05:9092 --fetch-size 2000 --messages 500000 --topic test-topic
生产示例:
bin/kafka-producer-perf-test.sh --topic test --num-records 500000 --record-size 200 --throughput -1 --producer-props bootstrap.servers=bigdata02:9092,bigdata03:9092,bigdata04:9092,bigdata05:9092 acks=-1
日志形式:
消费示例,加上zk端口:
bin/kafka-consumer-perf-test.sh --broker-list bigdata02:9092,bigdata03:9092,bigdata04:9092,bigdata05:9092 --zookeeper bigdata02:2181 --fetch-size 2000 --messages 500000 --topic test
日志形式:
网友评论