美文网首页大数据架构数据仓库
数据仓库(06)数仓分层设计

数据仓库(06)数仓分层设计

作者: 张飞的猪 | 来源:发表于2022-08-04 19:22 被阅读0次

  目前主流的数据仓库分层大多为四层,也有五层的架构,这里介绍基本的四层架构。 分别为数据贴源层(ods)、数据仓库明细层(dw)、多维明细层(dws)和数据集市层(dm)。

  下面是架构图:

数据仓库分层设计

  数据分层的目的是:减少重复计算,避免烟囱式开发,节省计算资源,靠上层次,越对应用友好,也对用户友好,希望大部分(80%以上)的需求,都用DWS,DW的表来支持就行,所以ODS层数据不能被DM层任务引用,需要抽取数据到DW,或者DWS。

  DWS汇总层应优先调用DW明细层。在调用可累加类指标计算时,DWS汇总层尽量优先调用已经产出的粗粒度汇总层,以避免大量汇总都直接从海量的明细数据层计算。

  DM层优先调用DWS,视情况小部分可以调用DW,禁止直接调用ODS数据,避免出现过度的ODS层引用、不合理的数据复制以及子集合冗余
DM层任务的深度不宜过大(建议不超过10层)。

总的来说,数据分层的目的如下:

  • 清晰数据结构:让每个数据层都有自己的作用和职责,在使用和维护的时候能够更方便和理解
  • 复杂问题简化:将一个复杂的任务拆解成多个步骤来分步骤完成,每个层只解决特定的问题
  • 统一数据口径:通过数据分层,提供统一的数据出口,统一输出口径
  • 减少重复开发:规范数据分层,开发通用的中间层,可以极大地减少重复计算的工作

数据贴源层(ods):用来储存原始数据,同步的脚本和数据的表,要和原始的表有一定的联系,用于方便数据治理,数据溯源等。一般,同步的脚本,和ods的表要体现源数据库表的特征,一般表名和字段名,字段格式,都和原始表保持一致,同步的形式包括增量同步和全量同步。

数据仓库明细层(dw):这一层存放的是一致的、准确的、干净的数据,即对源系统数据进行了清洗(去除了杂质)后的数据。一层一般来说是按照维度建模抽取的明细数据。通常是星形或雪花结构的数据。

多维明细层(dws):这一层存放的是DW层的,一些通用的汇总数据。一般是某个主题的某个维度的汇总数据,用于提供后续的业务查询,OLAP分析,数据分发等。一般来说,该层的数据表会相对较少,一张表会涵盖比较多的业务内容,由于其字段较多,因此一般也会称该层的表为宽表。

数据集市层(dm):该层主要是提供给数据产品和数据分析使用的数据,这层就是根据需求来抽取数据了。

一般来说,数据分层之后,还需要对开发数据的任务,进行规范,比如字段格式,字段名称拼写,主题划分等,不然单纯分层,是不足以建立好一个对开发友好,方便运维,方便取数的数仓的,这个分层就是一个货物仓库里面各个房间的划分,但是里面货物需要怎么放,放在哪个房间那个位置,我想要某个数据应该怎么找,这个就需要一整套数据开发规范,以及对应的数据地图,数据血缘关系系统的支持了。

总的来说,数据层是数仓的骨头支架,但是肌肉,心脏等这些器官,对建立一个好的数仓,也很关键。

需要数据仓库资料可以点击这个领取数据仓库(13)大数据数仓经典最值得阅读书籍推荐

参考文章:数据仓库(6)数仓分层设计

相关文章

  • 数据仓库(06)数仓分层设计

      目前主流的数据仓库分层大多为四层,也有五层的架构,这里介绍基本的四层架构。 分别为数据贴源层(ods)、数据...

  • 数仓实战01:数仓分层

    1.为什么分层 1.1 数仓分层: 1.2 为什么分层 2.数据集市和数据仓库概念 3.数仓命名规范 3.1 表命...

  • 数仓分层

      数仓分层的理论不仅是一种数据仓库的建设思想,对大数据的统计分析过程设计同样具有指导意义。  数仓分层的理论有很...

  • 浅谈数仓建设中的分层

    作者介绍 数据仓库@唐刚 “数据人创作者联盟”成员。 01数仓为什么要分层 数仓分层的原因也即是分层的好处体现在下...

  • 长文解读 "数据仓库" 面试必备知识

    数仓分层 数仓简介 1. 数据仓库和数据库的区别 数据仓库: 数据量特别的大,TB~PB 级别会保留历史数据一般使...

  • 从0开始研究数据仓库的一些想法

    研究方向 数仓理论:分层设计理论、维度建模理论基于OLAP数仓:adb/clickhouse/greenplum/...

  • 电商数仓架构介绍

    1.数仓分层概述 数据仓库分为三层,自下而上为:数据引入层(ODS,Operation Data Store)数据...

  • A/B实验平台

    一、A/B实验数据仓库到指标 简介:数据仓库的建设是公司的基础数据基建,目前数仓的建立模型主要包括分层宽表建模或者...

  • 数据仓库设计

    数据仓库--事实表 数据仓库--事实表和维度表 DW数据仓库分层模型设计 如何优雅地设计数据分层 ODS DW D...

  • 用户行为数仓搭建

    # 数仓分层概念 1.数仓分层 ods 存放原始数据 dwd 数据清洗 dws 数据汇总 ads 为统计报表提供数...

网友评论

    本文标题:数据仓库(06)数仓分层设计

    本文链接:https://www.haomeiwen.com/subject/wifuwrtx.html