常用命令
-----------------------------------
#端口修改
vi /opt/zookeeper/bin/../conf/zoo.cfg
#启动
/opt/zookeeper/bin/zkServer.sh stop
/opt/zookeeper/bin/zkServer.sh start
#校验
jps
#kafka 发送端口修改
vi /opt/kafka/config/server.properties
-----------------------------------
#端口修改
vi /opt/zookeeper/bin/../conf/zoo.cfg
#启动
/opt/zookeeper/bin/zkServer.sh stop
/opt/zookeeper/bin/zkServer.sh start
#校验
jps
#启动kafka
cd /opt/kafka
bin/kafka-server-start.sh config/server.properties
#kafka 发送端口修改
vi /opt/kafka/config/server.properties
#发送消息
/opt/kafka/bin/kafka-console-producer.sh --broker-list 10.64.79.61:9002 --topic test
#接受消息
/opt/kafka/bin/kafka-console-consumer.sh --zookeeper 10.10.10.10:8444 --topic test --from-beginning
/opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server 10.10.10.10:9092 --topic test --from-beginning
-----------------------------------
#发送消息
/opt/kafka/bin/kafka-console-producer.sh --broker-list 10.10.10.10:9002 --topic test
#接听消息
/opt/kafka/bin/kafka-console-consumer.sh --zookeeper 10.10.10.10:8444 --topic test --from-beginning
/opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server 10.10.10.10:9092 --topic test --from-beginning
-----------------------------------
最近有一个项目需要用到kafka分布式订阅发布消息系统，于是抽空的时候学习了一下关于kafka的一些事，同样在这里记录相关的笔记。最开始当然就是环境搭建。
kafka是什么？
这当然是最开始的一个问题。
kafka是一个分布式消息系统，由LinkedIn使用Scala编写，用作LinkedIn的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础，具有高水平扩展和高吞吐量。目前已经被多家不同类型的公司作为多种类型的数据管道和消息系统使用了。
而且越来越多的开源式分布处理系统都支持和kafka集成哦，比如Flume，Storm，Spark等。
目前几种分布式队列的对比：
zookeeper的环境部署
kafka是由zookeeper管理的，那么kafka的部署需要在zookeeper安装好之后进行。因此我们先来看看zookeeper如何来搭建环境。
首先到zookeeper的官网下载zookeeper，这里我选择的是zookeeper 3.4.8。
安装zookeeper很简单，就是解压，然后放到该放的目录里：
tar -zxvf zookeeper-3.4.8.tar.gz
mv zookeeper-3.4.8 /usr/local/zookeeper
然后我们进入zookeeper目录看一看：
cd /usr/local/zookeeper
目录如下：
和常规的一样，bin目录下是运行文件，conf目录下是配置文件，因此看看conf目录：
里面有一个配置例子zoo_sample.cfg，我们借助这个来配置：
cp zoo_sample.cfg zoo.cfg
用vim进入zoo.cfg，看看里面的内容：
可以看到配置文件里面有几个参数：
tickTime # 是zookeeper中使用的基本时间单位, 毫秒值.
initLimit # 连接leader的超时时间
syncLimit #
dataDir # 数据目录. 可以是任意目录.
clientPort # 监听client连接的端口号.
如果是单机运行zookeeper的话，就用上面默认的配置就可以了，可以把dataDir给改了，不让它存在临时目录：
# 我把它改到存在zookeeper目录下的data目录
dataDir=/usr/local/zookeeper/data
然后进入zookeeper目录创建data目录：
cd /usr/local/zookeeper
mkdir data
cd data
# 创建一个myid文件
vim myid
不过一般来说，用起来应该是在集群环境中。因此我们需要在zoo.cfg中还要加上如下内容(假如说有三台)：
server.1=zoo1:2888:3888
server.2=zoo2:2888:3888
server.3=zoo3:2888:3888
集群环境下需要将zookeeper拷贝到各个结点上：
scp -r -r zookeeper/
然后就可以运行zookeeper了（每一个节点都要运行哦）：
bin/zkServer.sh start
可以用jps看看：
kafka的环境部署
zookeeper搭建完毕后，就可以开始kafka的部署了。同样，到kafka的官网下载kafka的安装包，这里选择的是kafka_2.11-0.9.0.1。
一样先来个单机版的。。
解压文件，然后将它移动到合适的文件夹中，一般放/usr/local中：
tar -xvf kafka_2.11-0.9.0.1.tgz
mv kafka_2.11-0.9.0.1 /usr/local/kafka
接着进入相应目录：
cd /usr/local/kafka
目录结构还是那么个结构，大同小异，以名字来看，bin也是执行目录，config就是配置文件的目录了。
因此可以得知，我们需要进行配置kafka。
那么就来配置一下，一般来说就配置config目录下的server.properties。
vim config/server.properties
主要涉及到集群中的配置。比如broker.id、zookeeper.connect等等，单机就默认的就行了，默认broker.id=0。如果有其他的节点，每台节点的broker.id不能一样哦。
然后就可以启动kafka了，同样在bin里面。在启动了zookeeper的情况下启动kafka：
bin/kafka-server-start.sh config/server.properties
启动后可以来测试测试，打开另一个终端，创建一个叫“hello”的topic：
bin/kafka-topics.sh --create --zookeeper 10.10.10.10:8444 --replication-factor 1 --partitions 1 --topic hello
查看一下topic列表：
bin/kafka-topics.sh --list --zookeeper 10.10.10.10:8444
有了topic之后，我们就可以作为生产者来生产消息了，这里因为是单机，也只有用本机当生产者了：
bin/kafka-console-producer.sh --broker-list 10.10.10.10:9002 --topic test
这时可以在终端中输入文本消息。我们再在另一个终端里开启消费者来消费消息（0.10版本以后命令就不同了，官网上有新的命令）：
[work@-XXX kafka]$ /home/work/.jumbo/opt/kafka/bin/kafka-console-producer.sh --broker-list 10.10.10.10:9002 --topic test
>1213 adfa
>dfasf afaf
>aasffadffads
>fasdfasfas
>
这样就可以看到效果了呢。
[work@-XXX kafka]$ /home/work/.jumbo/opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server 10.10.10.10:9002 --topic test --from-beginning
1213 adfa
dfasf afaf
aasffadffads
fasdfasfas
...
其它的比如设置多broker的集群啊，可以看官方文档的快速开始(因为用的版本是0.9的，粘贴的网址就是0.9.0的文档)：http://kafka.apache.org/090/documentation.html#quickstart
作者：[MrBryan]
链接：https://www.jianshu.com/p/745fbbd641a7
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。
网友评论