绪
由Cloudera
公司开源
分布式、可靠、高可用的海量日志采集系统
数据源可定制,可扩展
数据存储系统可定制,可扩展
中间件:屏蔽了数据源和数据存储系统的异构性
flume og/flume ng
flume og:original generation 0.9.x
flume ng:next/new generation 1.x
flume og架构

flume
使用两个组件:master
和node
facebook的scribe
scribe agent
scribe
- 存储系统

apache的chukwa
特点是专门支持hadoop
集群日志分析
架构
-
Adaptor
数据源 -
HDFS
存储系统 -
Collector
和Agent
-
Demux
和achieving

linkedIn的kafka
特点是适合异构机群
架构
Producer
Broker
Consumer

网友评论