CtenOS 7 搭建kafka

kafka须注册至zookeeper，请确保zookeeper已部署并运行
下载，最新版本参考(https://www.apache.org/dyn/closer.cgi?path=/kafka/2.3.1/kafka_2.11-2.3.1.tgz)

$ wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.1/kafka_2.11-2.3.1.tgz

解压

$ tar -zxvf kafka_2.11-2.3.1.tgz

重命名

$ mv kafka_2.11-2.3.1 kafka

在kafka目录下创建日志目录logs

#此处kafka安装在/usr/local下
$ mkdir -p /usr/local/kafka/logs

修改配置

$ cd config
$ vi server.properties
#修改配置如下
#broker的全局唯一编号，不能重复
broker.id=0
#删除topic功能开启
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径
log.dirs=/usr/local/kafka/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址,集群使用“，”分隔开
zookeeper.connect=ip:2181

配置环境变量

$ vi /etc/profile

添加

#KAFKA_HOME
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin

重新加载配置

$ source /etc/profile

启动kafka

#控制台启动
$ ./bin/kafka-server-start.sh config/server.properties
#后台启动
$ nohup ./bin/kafka-server-start.sh ./config/server.properties &

搜索服务

$ ps -ef|grep kafka
#部分输出如下
kafka.Kafka ./config/server.properties