Kafka

Kafka基本概念

Kafka的应用场景

1.Messaging
类似传统消息中间件（RabbitMQ）
2.Website Activity Tracking
用户行为埋点统计，用户在网站上的行为统计
3.Metrics
做系统各种操作记录的度量
4.Log Aggregation
日志聚合
5.Stream Progessing
作为数据流的管道进行加工（数据清理，聚合，强化），这个功能单独独立出新的项目：Storm和Samza
6.Event Sourcing
状态的变化作为日志进行记录
7.commit log
对提交记录进行报错，错误节点可以根据提交记录二次提交进行补偿， log compaction
对这个特性进行很好支撑，类型的项目Apache BookKeeper

Kafaka安装

下载安装

wget http://mirror.bit.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz
tar -zxvf kafka_2.11-2.0.0.tgz 
cd kafka_2.11-2.0.0/

如果没有安装zk，可以先启动系统kafaka自带的Zk
./bin/zookeeper-server-start.sh config/zookeeper.properties
启动kafaka
./bin/kafka-server-start.sh config/server.properties
创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
发送消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
消费消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

集群配置

配置server
server-1.properties

broker.id=1
listeners=PLAINTEXT://:9093
log.dirs=/tmp/kafka-logs-1

server-2.properties

broker.id=2
listeners=PLAINTEXT://:9094
log.dirs=/tmp/kafka-logs-2

启动server

bin/kafka-server-start.sh config/server-1.properties &
bin/kafka-server-start.sh config/server-2.properties &

创建Topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 1 --topic my-replicated-topic
查看Topic
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic

查看结果