lambda架构
druid采用lambda架构,将实时数据和批处理数据解耦。
实时数据处理面向写多读少的优化,批处理数据部分面向读多写少的优化。
分布式结构“shared nothing”,各个节点都有自己的计算能力和存储能力,整个系统使用zookeeper进行协调,mysql存储元数据。
lambda架构:批处理层,服务层,速度层。
批处理层:如Hadoop,合理的批处理工具。
服务层:用于加载和实现数据库中的批处理视图,以便用户能查到。不一定需要随机写,但是支持批更新和随时读。
速度层:主要用来处理新数据和服务层更新造成的高延迟补偿,利用流处理工具和随机读写数据库来计算实时视图(Hbase),这些视图有效期一直到它们已经能通过批处理和服务层获得为止。
网友评论