美文网首页
数据仓库分层

数据仓库分层

作者: 闻笛0213 | 来源:发表于2020-04-29 14:46 被阅读0次

ODS:Operation Data Store

原始数据(一般不建议全部存储,可按实际需求)

DWD(数据清洗/DWI) data warehouse detail

数据明细详情,去除空值,脏数据,超过极限范围的(需要存储)

明细解析

具体表

DWS(宽表-用户行为,轻度聚合) data warehouse service ----->有多少个宽表?多少个字段

服务层--留存-转化-GMV-复购率-日活

点赞、评论、收藏;

轻度聚合对DWD

ADS(APP/DAL/DF)-出报表结果 Application Data Store

做分析处理同步到RDS数据库里边

数据集市:狭义ADS层; 广义上指DWD DWS ADS 从hadoop同步到RDS的数据

相关文章

  • 数据仓库设计

    数据仓库--事实表 数据仓库--事实表和维度表 DW数据仓库分层模型设计 如何优雅地设计数据分层 ODS DW D...

  • 数仓相关文章索引(1)

    基本常识 数据仓库的源数据类型 数据仓库的多维数据模型 BI数据仓库数据分层 即席查询 算法架构 浅谈数据仓库的基...

  • 5000字长文分享!数据仓库的建设与框架终于有人给讲明白了

    数据仓库,这个几乎是所有大数据开发面试必问的话题。比如数据仓库的分层架构?为什么需要数据仓库建模?数据仓库建模的原...

  • 数据仓库分层

    ODS:Operation Data Store 原始数据(一般不建议全部存储,可按实际需求) DWD(数据清洗/...

  • 数据仓库分层

    分层的目的 1.方便了解表之间的关系,可以将各层的作用明确,方便开发和使用。2.可以减少重复开发,存放中间处理过的...

  • 数仓实战01:数仓分层

    1.为什么分层 1.1 数仓分层: 1.2 为什么分层 2.数据集市和数据仓库概念 3.数仓命名规范 3.1 表命...

  • 数据仓库系列10- 数据仓库规范

    一. 数据模型架构原则 1.1 数据仓库分层 分层的好处: 清晰数据结构; 数据血缘追踪; 减少重复开发; 数据关...

  • 浅谈数仓建设中的分层

    作者介绍 数据仓库@唐刚 “数据人创作者联盟”成员。 01数仓为什么要分层 数仓分层的原因也即是分层的好处体现在下...

  • 数据仓库模型分层

    PS:无法复制表格样式,只能截图了

  • 数据仓库分层架构

    数据仓库只是中间集成化数据管理的一个平台。 源数据ODS 日志,数据库数据,文档数据,其他 数据无任何更改,不对外...

网友评论

      本文标题:数据仓库分层

      本文链接:https://www.haomeiwen.com/subject/gwaiyhtx.html