mac(Linux)安装配置kafka环境
本文介绍如何在Mac系统上安装和配置kafka环境，也适用于Linux系统，强烈***不建议***在Windows环境下尝试本博客。
软件环境说明如下：
操作系统：OS X 10.10.3
JDK版本： 1.8
zookeeper版本：zookeeper-3.4.9
kafka版本：1.0.0
##一、安装包下载
1.1 zookeeper下载
zookeeper官网 :http://zookeeper.apache.org/.
下载截至当前日期(2019-01-13)的zookeeper稳定版本3.4.10，下载地址：http://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/，找到zookeeper-3.4.10.tar.gz 并下载。如果由于网络原因下载速度过慢，可以镜像地址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/ 。解压至 /usr/local/Cellar目录下，解压命令：
tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/Cellar/
###[1.2] kafka下载
kafka官网：http://kafka.apache.org/
kafka 1.0.0下载地址： http://archive.apache.org/dist/kafka/1.0.0/
解压至 /usr/local/Cellar目录下，解压命令：
tar -zxvf kafka_2.12-1.0.0.tgz -C /usr/local/Cellar/
好了，现在 /usr/local/Cellar目录下有两个文件夹：
--/usr/local/Cellar
-- zookeeper-3.4.10
-- kafka_2.12-1.0.0
二、zookeeper配置与启动
2.1 配置zookeeper
把zookeeper-3.4.10/conf目录下的zoo_sample.cfg另存为zoo.cfg:
cd zookeeper-3.4.10/conf/
cp zoo_sample.cfg zoo.cfg
找到dataDir=/tmp/zookeeper，把dataDir修改为自定义目录。当然，也可以保持默认值。这里重新指定dataDir:
dataDir=/usr/local/Cellar/zookeeper-3.4.10/zookeeperData
2.2 启动zookeeper
执行zookeeper-3.4.10/bin目录下的zkServer.sh脚本即可启动zookeeper：
sh zkServer.sh start
如果看到如下输出，说明zookeeper启动成功：
ZooKeeper JMX enabled by default
Using config: /usr/local/Cellar/zookeeper-3.4.10/bin/../conf/zoo.cfg
-n Starting zookeeper ...
STARTED
zookeeper启动后 ，默认端口为2181.
三、kafka配置与启动
###3.1 配置kafka
####3.1.1 连接zookeeper
打开kafka_2.12-1.0.0/config/server.properties,找到zookeeper.connect=localhost:2181，这里的ip和端口要和zookeeper保持一致。
####3.1.2 配置log.dirs
server.properties中找到log.dirs,修改为自定义目录:
log.dirs=/usr/local/Cellar/kafka_2.12-1.0.0/kafka-logs
3.2 启动kafka
sh bin/kafka-server-start.sh config/server.properties &
此时可以用jps查看进程信息：
$ jps
1635 Jps
1404 Kafka
988 QuorumPeerMain
3.3 创建topic
创建一个topic和数据库里面建一个库是类似的(初次接触，暂时这么理解)，测试命令：
sh bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testtopic
命令里面 --create表示创建，--zookeeper localhost:2181 指定zookeeper的ip和端口， --replication-factor 1表示topic的副本为1，--partitions 1表示分区为1，--topic testtopic表示创建一个名为testtopic的topic.
执行完以上命令，如果看到如下输出，说明topic创建成功:
......
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
Created topic "testtopic".
[2018-01-14 00:24:06,526] INFO [ReplicaFetcherManager on broker 0] Removed fetcher for partitions testtopic-0 (kafka.server.ReplicaFetcherManager)
3.4 启动生产者
执行以下命令，启动生产者:
$ sh bin/kafka-console-producer.sh --broker-list localhost:9092 --sync --topic testtopic
输出如下:
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/Cellar/hbase-1.2.4/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/Cellar/kafka_2.12-1.0.0/libs/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
3.5 启动消费者
执行以下命令，启动消费者:
sh bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic testtopic --from-beginning
新版本如果出现执行上面的命令无法查看topic里面的信息，报错“zookeeper is not a recognized option”，是因为-zookeeper是一个过时的的命令，替换为–bootstrap-server，端口指定9092：
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testtopic --from-beginning
网友评论