kafka安装

环境准备

主机名称	IP地址
kafka	192.168.200.91

其他信息：
[root@flume ~]# uname -r
2.6.32-358.el6.x86_64
[root@flume ~]# uname -m
x86_64
[root@flume ~]# getenforce
Disabled

echo "192.168.200.81 kafka">>/etc/hosts

一、安装JDK

请参考：Linux下快速安装JDK

二、安装kafka

2.1 安装配置

下载

下载地址

cd /usr/local/src/
wget http://mirrors.shuosc.org/apache/kafka/1.0.0/kafka_2.12-1.0.0.tgz

解压

tar zxf /usr/local/src/kafka_2.12-1.0.0.tgz -C /usr/local/
ln -s /usr/local/kafka_2.12-1.0.0 /usr/local/kafka

2.2 启动zookeeper

cd /usr/local/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties

观察日志，如果启动成功，之后启动可以使用后台启动。
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties &

检查

[root@kafka kafka]# jps |grep -vi jps
1678 QuorumPeerMain

2.3 启动kafka

bin/kafka-server-start.sh  config/server.properties

观察日志，如果启动成功，之后启动可以使用后台启动。
bin/kafka-server-start.sh -daemon config/server.properties &

检查

[root@kafka kafka]# jps |grep -vi jps
3110 Kafka
2446 QuorumPeerMain

三、测试

3.1 创建Topic

[root@kafka kafka]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Created topic "test".

3.2 查看topic

[root@kafka kafka]# bin/kafka-topics.sh --list --zookeeper localhost:2181
test

3.3 生产数据

运行生产者，然后在控制台中输入一些消息，发送给服务器。

[root@kafka kafka]# bin/kafka-console-producer.sh --broker-list localhost:9092 --zookeeper kafka:2181 --topic test
This is a message

如果提示：zookeeper is not a recognized option，那么就不加选项 --zookeeper kafka:2181

3.4 消费数据

kafka也有一个命令行的消费者，将把信息输出到标准输出

[root@kafka kafka]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --zookeeper kafka:2181 --topic test --from-beginning
This is a message

常见错误

java.net.UnknownHostException: kafka: kafka: Name or service not known

启动时出现异常：
java.net.UnknownHostException: kafka: kafka: Name or service not known
解决：
echo '192.168.200.91 kafka'>>/etc/hosts