| 作者 | 时间 |
|---|---|
| 刘权 | 2017-8-28 |
基础环境准备：
| 编号 | 说明 |
|---|---|
| 1 | 卸载openJDK,安装SunJDK,并配置环境变量 |
| 2 | 关闭防火墙 |
| 3 | zookeeper集群已部署完毕，并启动 |
| 4 | 准备kafka安装包（http://mirrors.hust.edu.cn/apache/kafka/） |
- 上传安装包
- 解压安装包：
tar -zxvf kafka_2.11-0.11.0.0.tgz - 配置KAFKA_HOME:
sudo vi /etc/profile
加入以下配置：
export KAFKA_HOME=/server/kafka_2.11-0.11.0.0
export PATH=$KAFKA_HOME/bin:$PATH
- 加载环境变量：
souece /etc/profile - 修改配置文件：
vi kafka_2.11-0.11.0.0/config/server.properties
输入以下内容
#broker的全局唯一编号，不能重复
broker.id=0
#用来监听链接的端口，producer或consumer将在此端口建立连接
port=9092
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接受套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径
log.dirs=/home/hadoop/kafka_2.11-0.11.0.0/logs
#topic在当前broker上的分片个数
num.partitions=2
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间，超时将被删除
log.retention.hours=168
#滚动生成新的segment文件的最大时间
log.roll.hours=168
#日志文件中每个segment的大小，默认为1G
log.segment.bytes=1073741824
#周期性检查文件大小的时间
log.retention.check.interval.ms=300000
#日志清理是否打开
log.cleaner.enable=true
#broker需要使用zookeeper保存meta数据
zookeeper.connect=kafka01:2181,kafka01:2181,kafka01:2181
#zookeeper链接超时时间
zookeeper.connection.timeout.ms=6000
#partion buffer中，消息的条数达到阈值，将触发flush到磁盘
log.flush.interval.messages=10000
#消息buffer的时间，达到阈值，将触发flush到磁盘
log.flush.interval.ms=3000
#删除topic需要server.properties中设置delete.topic.enable=true否则只是标记删除
delete.topic.enable=true
#此处的host.name为本机IP(重要),如果不改,则客户端会抛出:Producer connection to localhost:9092 unsuccessful 错误!
host.name=kafka01
- 分发压缩包:
scp -r /home/hadoop/kafka_2.11-0.8.2.2 kafka02:/home/hadoop
scp -r /home/hadoop/kafka_2.11-0.8.2.2 kafka02:/home/hadoop
- 再次修改配置文件:
依次修改各服务器上配置文件的的broker.id，分别是0,1,2不得重复。
依次修改host.name
- 启动集群(依次在各节点上启动kafka):
nohup kafka-server-start.sh config/server.properties &
网友评论