kafka.png
Apache Kafka是一种流行的分布式消息代理，设计用于高效处理大量实时数据。 Kafka集群不仅具有高度可扩展性和容错性，而且与其他消息代理（例如ActiveMQ和RabbitMQ）相比，还具有高得多的吞吐量。 虽然它通常用作pub / sub消息传递系统，但是很多组织也将其用于日志聚合，因为它为已发布的消息提供持久存储。
1.安装zookeeper
Apache ZooKeeper是一种开源服务，用于协调和同步属于分布式系统的节点的配置信息。 Kafka集群依赖于ZooKeeper来执行操作，例如检测失败的节点和选择领导者。
由于ZooKeeper的包是在Ubuntu的默认软件仓库，使用安装它apt-get 。
sudo apt-get install zookeeperd
安装完成后，ZooKeeper将作为后台程序自动启动。 默认情况下，它会侦听端口2181。
为了确保它是工作，通过Telnet连接到它：
telnet localhost 2181
在Telnet提示符处，键入ruok ，然后按ENTER 。
如果一切正常，动物园管理员会说imok并结束Telnet会话。
2.安装kafka
这里是下载并解压缩Kafka二进制文件，首先，创建一个叫做Downloads来存储所有您的下载。
mkdir -p ~/Downloads
使用wget下载Kafka二进制文件。
wget "http://mirror.cc.columbia.edu/pub/software/apache/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz" -O ~/Downloads/kafka.tgz
创建一个目录叫kafka ，并切换到该目录。 这将是Kafka安装的基本目录。
mkdir -p ~/kafka && cd ~/kafka
解压缩您下载使用存档tar命令。
tar -xvzf ~/Downloads/kafka.tgz --strip 1
3.配置Kafka Server
下一步是配置Kakfa服务器。
打开server.properties使用vim ：
vim ~/kafka/config/server.properties
默认情况下，Kafka不允许您删除主题。 要能够删除主题，请在文件末尾添加以下行：
delete.topic.enable = true
保存文件，并退出vim
4.启动Kafka服务器
运行kafka-server-start.sh使用脚本nohup启动Kafka服务器（也称为Kafka经纪人）作为后台进程是独立的shell会话。
nohup ~/kafka/bin/kafka-server-start.sh ~/kafka/config/server.properties > ~/kafka/kafka.log 2>&1 &
等待几秒钟，它开始。 你可以肯定，当你看到下面的消息服务器已成功启动~/kafka/kafka.log ：
摘录自〜/ kafka / kafka.log
...
[2017-03-29 06:02:41,736] INFO New leader is 0 (kafka.server.ZookeeperLeaderElector$LeaderChangeListener)
[2017-03-29 06:02:41,776] INFO [Kafka Server 0], started (kafka.server.KafkaServer)
你现在有它在端口9092监听Kafka服务器。
5.测试安装：
现在让我们发布和使用一个“Hello World”的消息，以确保Kafka服务器正常运作。
要发布消息，您应该创建一个Kafka生产者。 您可以轻松地创建一个使用该命令行kafka-console-producer.sh脚本。 它期望Kafka服务器的主机名和端口，以及主题名称作为其参数。
在下面的输入发布字符串“你好，世界”到一个叫做TutorialTopic话题：
echo "Hello, World" | ~/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic TutorialTopic > /dev/null
由于主题不存在，Kafka将自动创建。
使用消息，您可以创建使用Kafka消费者kafka-console-consumer.sh脚本。 它期望ZooKeeper服务器的主机名和端口，以及主题名称作为其参数。
以下命令使用我们发布到的主题的消息。 注意使用的--from-beginning的标志，因为我们要消耗消费者开始之前公布的消息，其存在。
~/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic TutorialTopic --from-beginning
如果没有配置问题，你应该看到Hello, World现在在输出中,如下：
vagrant@vagrant-ubuntu-trusty-64:~/kafka$ ~/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic TutorialTopic --from-beginning
Hello, World
脚本将继续运行，等待更多消息发布到主题。 随意打开一个新的终端，并开始一个制作人发布更多的消息。 你应该能够立即在消费者的输出中看到它们。
完成测试后，请按CTRL + C停止使用者脚本。
网友评论