美文网首页
2019-02-18 大数据架构

2019-02-18 大数据架构

作者: 佳兰小筑 | 来源:发表于2019-08-21 09:46 被阅读0次

    --
    中台架构
    https://www.infoq.cn/article/328XzZWeIFON6JSDBR85



    将军令:数据安全平台建设实践


    Druid 在有赞的实践
    https://www.infoq.cn/article/fXl2QXxCQ-AEx14Ee8X5

    Druid 的架构是 Lambda 架构,分成实时层 ( Overlord、 MiddleManager ) 和批处理层 ( Broker 和 Historical )。主要的节点包括(PS: Druid 的所有功能都在同一个软件包中,通过不同的命令启动):


    rule1: 加载最近 30 天的 1 份 Segment 到 “hot” 分组;
    rule2: 加载最近 180 天的 1 份 Segment 到 “_default_tier” 分组;
    rule3: Drop 掉之前的数据(注:Rule 机制只影响 Historical 加载 Segment,Drop 掉的 Segment 在 HDFS 上任有备份)

    数据摄取系统
    Druid 目前并不没有支持 JOIN 查询,所有的聚合查询都被限制在单 DataSource 内进行。

    相关文章

      网友评论

          本文标题:2019-02-18 大数据架构

          本文链接:https://www.haomeiwen.com/subject/hdioeqtx.html