美文网首页
典型的数据仓库建模方法论

典型的数据仓库建模方法论

作者: 编程回忆录 | 来源:发表于2017-08-23 22:46 被阅读0次

ER模型:ER(Entity Relationship)实体关系模型在范式理论上符合3NF。数据仓库中的3NF与OLTP系统中的3NF的区别在于,它是站在企业角度面向主题的抽象,而不是针对某个具体业务流程的实体对象关系的抽象。所以其具有以下几个特点:

  • 需要全面了解企业业务和数据。
  • 试试周期非常长。
  • 对建模人员的能力要求非常高。
    采用ER模型建设数据仓库模型的出发点是整合数据,将各个系统中的数据以整个企业角度按主题进行相似性组合和合并,并进行一致性处理,为数据分析决策服务,但是并不能直接用于分析决策。

采用ER模型建模一般分为三个阶段:

  • 高层模型:一个高度抽象的模型,描述主要的主题以及主题间的关系,用于描述企业的业务主题概况。
  • 中层模型:在高层模型的基础上,细化主题的数据项。
  • 物理模型(也叫底层模型):在中层模型的基础上,考虑物理存储,同时基于性能和平台特点进行物理模型的设计,也可能做一些表的合并,分区的设计等。

维度模型:从分析决策的需求出发构建模型,为分析需求服务,因此它重点关注用户如何更快速地完成需求分析,同时具有较好的大规模复杂查询的响应性能。其典型的代表是星形模型,以及在一些特殊场景下使用的雪花模型。其设计分为一下几个步骤:

  • 选择需要进行分析决策的业务过程。业务过程可以是单个业务事件,比如交易的支付、退款等;也可以是某个事件的状态,比如当前的账户余额等;还可以是一系列相关业务事件组成的业务流程,具体需要看我们分析的是某些事件发生情况,还是当前状态,或是事件流转效率。
  • 选择粒度。在事件分析中,我们要预判所有分析需要细分的程度,从而决定选择的粒度。粒度是维度的一个组合。
  • 识别维表。选择好粒度之后,就需要基于此粒度设计维表,包括纬度属性,用于分析时进行分组和筛选。
  • 选择事实。确定分析需要衡量的指标。

Data Vault模型:它是ER模型的衍生,其设计的出发点是为了实现数据的整合,但不能直接用于数据分析决策。

Anchor模型:它对Data Vault模型做了进一步规范化处理,该模型将规范到6NF,基本变成了k-v结构化模型。

以上文字均摘抄自:<<大数据之路-阿里巴巴大数据实践>>,原书购买链接:https://www.amazon.cn/%E5%A4%A7%E6%95%B0%E6%8D%AE%E4%B9%8B%E8%B7%AF-%E9%98%BF%E9%87%8C%E5%B7%B4%E5%B7%B4%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%AE%9E%E8%B7%B5-%E9%98%BF%E9%87%8C%E5%B7%B4%E5%B7%B4%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%8F%8A%E4%BA%A7%E5%93%81%E9%83%A8/dp/B071GW3JHM/ref=sr_1_1?ie=UTF8&qid=1503497929&sr=8-1&keywords=%E5%A4%A7%E6%95%B0%E6%8D%AE%E4%B9%8B%E8%B7%AF+%E9%98%BF%E9%87%8C%E5%B7%B4%E5%B7%B4%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%AE%9E%E8%B7%B5

相关文章

  • 典型的数据仓库建模方法论

    ER模型:ER(Entity Relationship)实体关系模型在范式理论上符合3NF。数据仓库中的3NF与O...

  • 数仓建模 - 维度 vs 关系

    数据仓库模型建设 模型概念 维度建模 关系建模 建模实现对比 模型选择 Data Vault 简介 数据仓库模型建...

  • 浅谈数据仓库(DW & BI)(六)

    前一段时间简要描述了数据仓库的发展和一些数仓建模的方法论?简要回顾一下: #42 浅谈数据仓库(DW &BI)(一...

  • 5000字长文分享!数据仓库的建设与框架终于有人给讲明白了

    数据仓库,这个几乎是所有大数据开发面试必问的话题。比如数据仓库的分层架构?为什么需要数据仓库建模?数据仓库建模的原...

  • 数据仓库建模方法论

    关注公众号:大数据技术派,领取资料,学习大数据技术。 建模方法论 数仓的建模或者分层,其实都是为了更好的去组织、管...

  • 数据仓库建模——维度建模

    数据仓库的建模方法有很多种,常见的有维度建模法、范式建模法、实体建模法等,下面主要介绍一下维度建模法。 维度建模的...

  • Kimball维度建模技术总结

    Kimball维度建模技术几乎已经成为数据仓库建模的最佳实践。维度建模的基本概念总结。 收集业务需求 在建模工作前...

  • BI建模原则和常见问题

    BI建模的质量直接影响数据仓库项目的质量,所以在建模前,要对数据仓库的架构组成、大小以及模型功能有明确的定义。 影...

  • 离线数仓二

    数据仓库维度模型设计 维度建模基本概念 维度模型是数据仓库领域大师Ralph Kimall所倡导,他的《数据仓库工...

  • 数据建模的理解操作

    维度建模是专门应用于分析型数据库 数据仓库 数据集市建模的方法。数据集市可以理解为是一种"小型数据仓库"。 维度建...

网友评论

      本文标题:典型的数据仓库建模方法论

      本文链接:https://www.haomeiwen.com/subject/aynjdxtx.html