大数据开发环境搭建之Kafka集群搭建

Kafka集群搭建

1、上传kafka

上传到/home/bigdata/soft/目录下（或者其他目录）

2、解压重命名

tar -zxvf kafka_2.11-0.10.0.0.tgz

mv kafka_2.11-0.10.0.0 /home/bigdata/apps

3、修改配置

进到config目录下

mkdir /home/bigdata/logs/kafka-logs/

cd /home/bigdata/apps/kafka_2.11-0.10.0.0/config/

vim server.properties

修改内容

#每台brokerId都不相同

broker.id=2 #bigdata02是2,bigdata03是3,bigdata04是4,bigdata05是5

#在log.retention.hours=168 后新增下面三项

message.max.byte=5242880

default.replication.factor=1

replica.fetch.max.bytes=5242880

#设置zookeeper的连接端口

zookeeper.connect=bigdata02:2181,bigdata03:2181,bigdata04:2181,bigdata05:2181

#日志文件的目录，设置成刚刚创建的logs目录

log.dirs=/home/bigdata/logs/kafka-logs/

4、将kafka拷贝到集群节点

scp -r /home/bigdata/apps/kafka_2.11-0.10.0.0/ bigdata@bigdata02:~/apps
scp -r /home/bigdata/apps/kafka_2.11-0.10.0.0/ bigdata@bigdata04:~/apps
scp -r /home/bigdata/apps/kafka_2.11-0.10.0.0/ bigdata@bigdata05:~/apps

注意修改集群节点kafka/config/server.properties 中broker.id值

5、验证集群

集群个节点全部执行

cd /home/bigdata/apps/kafka_2.11-0.10.0.0/

bin/kafka-server-start.sh -daemon config/server.properties

jps打印kafka进程

jps

创建一个topic：

bin/kafka-topics.sh --create --zookeeper bigdata02:2181 --replication-factor 1 --partitions 1 --topic test

查看topic：

bin/kafka-topics.sh --list --zookeeper bigdata02:2181

如果能查看刚创建的topic说明创建topic成功

打开生产者客户端：

bin/kafka-console-producer.sh --broker-list bigdata02:9092 --topic test

在控制台中随便输入一行数据：This is a message

到bigdata03机器上打开一个消费者客户端：

bin/kafka-console-consumer.sh  --bootstrap-server bigdata02:9092 --zookeeper  bigdata02:2181 --topic test --from-beginning

如果能收到刚刚输入的字符串：This is a message，说明集群搭建成功！

集群压力测试:

模板:
测试生产数据

bin/kafka-producer-perf-test.sh --topic test-topic --num-records 500000 --record-size 200 --throughput -1 --producer-props bootstrap.servers=bigdata02:9092,bigdata03:9092,bigdata04:9092,bigdata05:9092 acks=-1

测试消费数据

bin/kafka-consumer-perf-test.sh --broker-list bigdata02:9092,bigdata03:9092,bigdata04:9092,bigdata05:9092 --fetch-size 2000 --messages 500000 --topic test-topic 

生产示例:

bin/kafka-producer-perf-test.sh --topic test --num-records 500000 --record-size 200 --throughput -1 --producer-props bootstrap.servers=bigdata02:9092,bigdata03:9092,bigdata04:9092,bigdata05:9092  acks=-1

日志形式:

消费示例,加上zk端口:

bin/kafka-consumer-perf-test.sh --broker-list bigdata02:9092,bigdata03:9092,bigdata04:9092,bigdata05:9092 --zookeeper  bigdata02:2181  --fetch-size 2000  --messages 500000 --topic test

日志形式: