Druid 架构设计分析

作者: MeazZa | 来源:发表于2018-01-17 19:46 被阅读0次

整体架构

Druid集群是由一组扮演不同角色的,功能不同的节点组成的,我们先从这幅图介绍一下几类节点,以及它们之间的通信方式。


节点类型
  • Broker:接收客户端的查询请求;转发查询到Realtime和Historical节点;接收查询结果并进行合并,发回给客户端。Broker通过Zookeeper确定Realtime和Historical节点是否存在。
  • Indexing Service:在将批量和实时数据导入系统时,将数据转换为Druid的索引结构保存在系统中。
  • Coordinator:监控Historical节点,以确保数据的可靠性;协调每个Historical节点加载的数据块,读取Zookeeper来判断存在的Historical节点,并通过创建Zookeeper的标识,告知Historical进行加载或释放数据块。
  • Historial:处理历史(非实时)数据的存储和查询,和数据存储介质紧密联系,响应Broker的查询请求,并将查询到的结构返回给Broker。在Zookeeper中记录每个Historical节点保存的数据块。
  • Realtime:将实时数据导入到系统中。
外部依赖
  • Zookeeper:各节点之间通信的主要方式。
  1. Coordinator节点和Historical节点之间的数据块加载和释放
  2. Realtime节点和Historical节点之间的数据块消息发布
  3. Coordinator等的leader选举
  4. Indexing服务任务的管理
  • MySQL:用于Druid元数据的保存。
  • Deep Storage: 数据的实际存储。在Druid中的数据块称为segment,segment存储在Deep Storage中。

相关文章

  • Druid 架构设计分析

    整体架构 Druid集群是由一组扮演不同角色的,功能不同的节点组成的,我们先从这幅图介绍一下几类节点,以及它们之间...

  • Druid架构分析

    lambda架构 druid采用lambda架构,将实时数据和批处理数据解耦。 实时数据处理面向写多读少的优化,批...

  • Druid-Druid架构分析

    基于Apache-Druid-0.17.0 文档参考基于 apache-druid-0.17.0-src.tar....

  • Druid基本概念及架构介绍

    Druid基本概念及架构介绍 1.什么是Druid Druid是一个专为大型数据集上的高性能切片和OLAP分析而设...

  • Druid架构设计

    Druid的架构设计是对云友好和易维护的多处理分布式架构。架构在集群中有最大的灵活性,可以配置和独立扩展每一个Dr...

  • 架构设计基础-软件架构设计学习第二天(非原创)

    文章大纲 一、架构需求分析二、架构愿景分析三、架构设计原则四、必备设计-API网关五、参考文章 一、架构需求分析 ...

  • SpringBoot+AOP构建多数据源的切换实践

    针对微服务架构中常用的设计模块,通常我们都会需要使用到druid作为我们的数据连接池,当架构发生扩展的时候 ,通常...

  • 秒杀系统架构分析、设计、原理书目录

    秒杀系统架构分析、设计、原理 秒杀业务分析 秒杀技术挑战 秒杀架构原则 秒杀架构设计 大并发带来的挑战 作弊的手段...

  • 2018-12-25 web项目开发的一般流程

    1、需求确定 2、分析与设计:架构分析与设计 3、分析与设计:业务逻辑设计 4、分析与设计:界面设计 5、开发环境搭建

  • archimate系列之三逻辑架构-分层架构

    在架构设计中,逻辑架构又是重要的架构设计之一。因为逻辑架构也是面众广泛的设计,需要面对客户、分析人员、设计人员、开...

网友评论

    本文标题:Druid 架构设计分析

    本文链接:https://www.haomeiwen.com/subject/foyuoxtx.html