首先认为他是一台机器,对外提供服务的机器
服务:订阅、发布
经典组合 flume + kafka + hbase/hdfs
这个组合作用:把发送方数据收集 给接收方,flume就是前端采集,kafka做数据缓存
推送给用户的内容,缓存起来,待用户随时看
kafka体现的就是承上启下作用:上下游对接,定位消息队列系统
这里就要做持久化,
需要知道2个新词(预读、后写),磁盘用的好跟网络一样快
kafka特点
水平扩展,高吞吐,多语言操作
kafka单位
message
组件:生产者消费者模式
image.pngbroker:is node
consumer:
producer:
topic 逻辑
partition 物理
网友评论