美文网首页
数据仓库和维度建模

数据仓库和维度建模

作者: Hunter严 | 来源:发表于2019-01-18 20:35 被阅读0次

数据仓库的优化

业务方面优化

如订单及时跟单率只能达到80%,另外的百分之二十需要根据goshop时间,淘宝订单后四位,订单时间进行轮询匹配用户ID,再分配业务线

之前订单是所有两步完成再进行后面的任务,现在拆分任务订单匹配任务完成就开始那些不需要拆分业务线的任务开始运行,分配业务线的任务完成再调度需要依赖他的任务开始

数据仓库分层建设

1)ods层:原始数据直接同步过来;ODS作为数据缓冲层,保留的是所有的数据,理论上粒度和源系统保持一致,同时不丢数据,业务DB基本上是直接同步过来,LOG主要是做结构化。

2)维表和事实表层:该主要是将ods的数据经过规范化处理、业务逻辑处理等得到的。在该层以后使用的所有数据都必须且只能来自该层,不能再从ods层提取。

3)主题层:主要将维表和事实层的数据按照相同的业务主题进行整合得到。

4)聚合层:在事实层和主题层的基础上,按照业务需求对数据进行相应的汇总,直接面向应用层。

5)应用层:主要用于生成报表,展现给需求方。

6)临时层:用于存放开发过程中的一些临时表。

数据仓库维度建模

分析业务过程需求调研-数据探查-确定事实-确定维度-确定命名-详细设计

https://segmentfault.com/a/1190000016199946  --良好的分层模型

相关文章

  • 数仓建模 - 维度 vs 关系

    数据仓库模型建设 模型概念 维度建模 关系建模 建模实现对比 模型选择 Data Vault 简介 数据仓库模型建...

  • 离线数仓二

    数据仓库维度模型设计 维度建模基本概念 维度模型是数据仓库领域大师Ralph Kimall所倡导,他的《数据仓库工...

  • 数据仓库建模——维度建模

    数据仓库的建模方法有很多种,常见的有维度建模法、范式建模法、实体建模法等,下面主要介绍一下维度建模法。 维度建模的...

  • Kimball维度建模技术总结

    Kimball维度建模技术几乎已经成为数据仓库建模的最佳实践。维度建模的基本概念总结。 收集业务需求 在建模工作前...

  • 传统数据仓库在大数据平台上的进化

    模型的进化 一、传统数仓的3NF模型&维度模型 数据仓库建模中维度建模和3NF建模并不是OR的关系,它们更像是上下...

  • 数据建模的理解操作

    维度建模是专门应用于分析型数据库 数据仓库 数据集市建模的方法。数据集市可以理解为是一种"小型数据仓库"。 维度建...

  • 大数据分析基础——维度模型

    1基本概念 维度模型的概念出自于数据仓库领域,是数据仓库建设中的一种数据建模方法。维度模型主要由事实表和维度表这两...

  • 数据仓库

    《数据仓库工具箱 维度建模权威指南 第3版.pdf》

  • 数据仓库和维度建模

    数据仓库的优化 业务方面优化 如订单及时跟单率只能达到80%,另外的百分之二十需要根据goshop时间,淘宝订单后...

  • 维度退化

    什么是维度退化? 将维度退化到事实表中,减少事实表和维度表的关联 在维度建模的数据仓库中,有一种维度叫Degene...

网友评论

      本文标题:数据仓库和维度建模

      本文链接:https://www.haomeiwen.com/subject/axjodqtx.html