环境准备
Centos7.0
kafka_2.11-1.0.0
JDK1.8
一、简介
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
官网说的好处，咱就不一一列举了，想了解更多的，直接看官网
二、安装kafka
2.1、命令下载
wget http://mirrors.shuosc.org/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz
2.2、官网直接下载，然后上传到Linux环境上
https://kafka.apache.org/downloads
因本人网络问题，我直接选择的是第二种方法，QAQ
2.3、解压安装包
tar -zxvf kafka_2.11-1.0.0.tgz
2.4、修改配置文件
cd kafka_2.11-1.0.0/config
vi server.properties
修改如下内容
broker.id=1
log.dir=/root/data/kafka/logs
三、服务启动
3.1、启动zookeeper
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
zookeeper启动日志
3.2、启动kafka服务
bin/kafka-server-start.sh config/server.properties
kafka启动日志
四、功能测试
4.1、创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic xiby_demo
创建topic
4.2、查看topic列表
bin/kafka-topics.sh --list --zookeeper localhost:2181
查看topic列表
4.3、在生产者中产生消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic xiby_demo
发送信息
4.4、在消费者中查看信息
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic xiby_demo --from-beginning
查看信息
今天就介绍到这里了，kafka集群模式有时间再进行详细的介绍
网友评论