0 准备
模拟生产环境，安装Kafka，需要最少三台机器，如下
| 主机名 | IP |
|---|---|
| Kafka-1 | 10.0.0.5 |
| Kafka-2 | 10.0.0.6 |
| Kafka-3 | 10.0.0.7 |
Kafka是使用scala编写的运行与jvm虚拟机上的程序，一般运行在linux服务器上，首先确保你的机器上安装了jdk，kafka需要java运行环境。以前的kafka还需要zookeeper，新版的kafka已经内置了一个zookeeper环境，所以我们可以直接使用。生产系统中，为了稳定性，zookeeper和kafka broker不能在同一个节点，为了防止误解，下面的zookeeper是单独安装。
1 Install Java
sudo add-apt-repository -y ppa:webupd8team/java
sudo apt-get install oracle-java8-installer -y
Verify:
kafka-1:~$ java -version
java version "1.8.0_201"
Java(TM) SE Runtime Environment (build 1.8.0_201-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.201-b09, mixed mode)
2 安装配置 Zookeeper
sudo apt-get install zookeeperd -y
Verify:
kafka-1:~$ sudo netstat -lnput | grep 2181
tcp6 0 0 :::2181 :::* LISTEN 4051/java
修改配置文件，让zookeeper集群自我标示，以及互相认识。
sudo vi /etc/zookeeper/conf/zoo.cfg
dataDir=/var/lib/zookeeper
#dataLogDir=/disk2/zookeeper
# 为了性能，修改这部分
server.1=10.0.0.5:2888:3888
server.2=10.0.0.6:2888:3888
server.3=10.0.0.7:2888:3888
#server.1 这个1是服务器的标识也可以是其他的数字， 表示这个是第几号服务器，用来标识服务器，这个标识要写到快照目录下面myid文件里
#10.0.0.5为集群里的IP地址，第一个端口是master和slave之间的通信端口，默认是2888，第二个端口是leader选举的端口，集群刚启动的时候选举或者leader挂掉之后进行新的选举的端口默认是3888
sudo vi /var/lib/zookeeper/myid
每个机器修改为自己的id，这里是[1,2,3]。
三个机器服务重启，让配置生效
sudo systemctl restart zookeeper
检查日志
tail -50f /var/log/zookeeper/zookeeper.log
3 安装配置 Kafka
从官网下载Kafka二进制码，目前主要有两个版本：2.X , 1.X，这两个版本差异比较大。
wget http://apache.mirrors.spacedump.net/kafka/2.1.1/kafka_2.11-2.1.1.tgz
sudo tar xf kafka_2.11-2.1.1.tgz -C /opt
cd /opt ; sudo ln -s kafka_2.11-2.1.1 kafka
修改kafka配置
sudo vi /opt/kafka/config/server.properties
broker.id=1
# 每个broker有一个唯一编号标识。要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消费情况
log.dirs=/tmp/kafka-logs,/mnt/kafka-log
# kafka数据的存放地址，多个地址的话用逗号分割,多个目录分布在不同磁盘上可以提高读写性能
zookeeper.connect=10.0.0.5:2181,10.0.0.6:2181,10.0.0.7:2181
# 指定zookeeper 集群
三个Kafka broker配置都修改好后，启动服务。
cd /opt/kafka; sudo bin/kafka-server-start.sh config/server.properties
窗口出现很多运行日志，类似：
[2019-02-20 03:11:21,984] INFO Kafka version : 2.1.1 (org.apache.kafka.common.utils.AppInfoParser)
[2019-02-20 03:11:21,985] INFO Kafka commitId : 21234bee31165527 (org.apache.kafka.common.utils.AppInfoParser)
[2019-02-20 03:11:21,985] INFO [KafkaServer id=1] started (kafka.server.KafkaServer)
表示kafka已经正常启动了，Ctrl+C 退出。
把 kafka nohup后台运行
cd /opt/kafka; sudo nohup bin/kafka-server-start.sh config/server.properties > /tmp/kafka.log 2>&1 &
4 测试kafka
create topic
$ bin/kafka-topics.sh --zookeeper 10.0.0.6:2181 --create --topic roytest --partitions 2 --replication-factor 2
Created topic "roytest".
List topic from another zookeeper
$ bin/kafka-topics.sh --list --zookeeper 10.0.0.5:2181
roytest
Describe topic
$ bin/kafka-topics.sh --zookeeper 10.0.0.7:2181,10.0.0.5:2181,10.0.0.6:2181 --describe --topic roytest
Topic:roytest PartitionCount:2 ReplicationFactor:2 Configs:
Topic: roytest Partition: 0 Leader: 1 Replicas: 1,2 Isr: 1,2
Topic: roytest Partition: 1 Leader: 2 Replicas: 2,3 Isr: 2,3
发送信息
$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic roytest
>line 1
>line 2 from kafka-1
>^C
接收消息
$ bin/kafka-console-consumer.sh --bootstrap-server 10.0.0.5:9092 --topic roytest --from-beginning
line 1
line 2 from kafka-1
^CProcessed a total of 2 messages
压力测试
$ bin/kafka-producer-perf-test.sh --num-records 10000000 --record-size 1024 --topic roytest --throughput 1000000 --producer-props bootstrap.servers=10.0.0.5:9092,10.0.0.6:9092,10.0.0.7:9092 batch.size=100000
209482 records sent, 41879.6 records/sec (40.90 MB/sec), 582.7 ms avg latency, 948.0 max latency.
220600 records sent, 44111.2 records/sec (43.08 MB/sec), 537.8 ms avg latency, 2951.0 max latency.
238177 records sent, 47635.4 records/sec (46.52 MB/sec), 720.9 ms avg latency, 2965.0 max latency.
258240 records sent, 51637.7 records/sec (50.43 MB/sec), 741.3 ms avg latency, 3048.0 max latency.
412224 records sent, 82428.3 records/sec (80.50 MB/sec), 395.2 ms avg latency, 681.0 max latency.
参考资料
官网 http://kafka.apache.org/quickstart
kafka实战教程，kafka配置文件详解 https://blog.csdn.net/luanpeng825485697/article/details/81036028
Install And Configure Apache Kafka On Ubuntu 16.04 https://devops.ionos.com/tutorials/install-and-configure-apache-kafka-on-ubuntu-1604-1/
kafka之 server.properties 配置文件参数说明 https://blog.csdn.net/qq_32252917/article/details/79465339
网友评论