美文网首页
数仓架构图

数仓架构图

作者: liuxiaolin | 来源:发表于2023-07-25 01:42 被阅读0次

阿里巴巴的数据团队把表数据模型分为三层 :操作数据层( ODS )、
公共维度模型层( DM )和应用数据层( DS ), 其中公共维度模型层
包括明细数据层( DWD )和汇总数据层( DWS )。模型层次关系如
9.9 所示。


image.png

公共维度模型层( CDM ):存放明细事实数据、维表数据及公共指
标汇总数据 其中明细事实数据、维表数 一般根据 ODS 层数据加工
生成 :公共指标汇总数据 般根据维表数据和明细事实数据加工生成。
CDM 层又细分为 DWD 层和 DWS 层,分别是明细数据层和汇总数
据层,采用维度模型方法作为理论基础 更多地采用 些维度退化手法,
将维度退化至事实表中,减少事实表和维表的关联 ,提高明细数据
易用性 :同时在汇总数据层, 加强指标的维度退化, 采取更多的宽表
手段构建公共指标数据层,提升公共指标的复用性,减少重复加工。其
主要功能如下。
·组合相关和相似数据:采用明细宽表,复用关联计算,减少数据
扫描。
·公共指标统 加工:基于 OneData 体系构建命名规范、口径
和算法统 的统计指标,为上层数据产品、应用和服务提供公共
指标 立逻辑汇总宽表。
建立 致性维度:建立 致的数据分析维表,降低数据计算口径、
算法不统一的风险。
应用数据层( ADS ):存放数据产品个性化的统计指标数据,根据
CD 层与 ODS 层加工生成

其模型架构如图 9.10 所示。阿里巴巴通过构建全域的公共层数据,
极大地控制了数据规模的增长趋势,同时在整体的数据研发效率、成本
节约、性能改进方面都有不错的效果。

image.png

相关文章

  • 数仓与数仓建模

    一、数据仓库 **英文名称为Data Warehouse,可简写为[DW]或DWH。是为企业[https://ba...

  • 数仓建设规范

    本文将全面讲解数仓建设规范,从数据模型规范,到数仓公共规范,数仓各层规范,最后到数仓命名规范,包括表命名,指标字段...

  • 美团实时数仓建设

    实时数仓和传统数仓的对比 实时数仓和传统数仓的对比主要可以从四个方面考虑:●第一个是分层方式,离线数仓为了考虑到效...

  • 成品仓的管理诊断201706191103

    成品仓的管理异常,简单总结如下: 1、现象: 成品仓的入库数、发货数、客收数、退货数、退库数不准 2、后果: 班组...

  • 说说数仓(3) - 数仓架构

    近几年工作都和BI有关,但是真正对数仓有系统的了解还是在第一家公司的时候,当时跟着IBM的顾问,了解了很多的模型设...

  • 数仓实战01:数仓分层

    1.为什么分层 1.1 数仓分层: 1.2 为什么分层 2.数据集市和数据仓库概念 3.数仓命名规范 3.1 表命...

  • 数仓实战02:数仓理论

    1.范式理论 1. 范式概念1)定义范式可以理解为设计一张数据表的表结构,符合的标准级别。 规范和要求2)优点关系...

  • 数仓概念-hive 数仓简介

    什么是数仓? 数据仓库 datawarehouse DW(DWH) 是一个 向分析的集成化的数据分析平台,分析结果...

  • 8

    Mybatis: 1、总体描述,架构图JDBC(Java DataBase Connectivity, java数...

  • 【理论+实战知识】数据仓库建设保姆级5W字教程1

    一、数仓基本概念 1、数据仓库架构 我们在谈数仓之前,为了让大家有直观的认识,先来谈数仓架构,“架构”是什么?这个...

网友评论

      本文标题:数仓架构图

      本文链接:https://www.haomeiwen.com/subject/pmwcpdtx.html