复杂的数据关系.jpg
目录
- 数据仓库模型建设
- 模型概念
- 维度建模
- 关系建模
- 建模实现对比
- 模型选择
- Data Vault 简介
数据仓库模型建设
数据管理一直在演进，从早期的电子表格、蛛网系统到架构式数据仓库。发展至今以维度建模和关系建模为主，而随着互联网的发展，数据从GB到PB的裱花，企业业务迭代更新亦是瞬息万变，对维度模型的偏爱渐渐有统一互联网数仓建模标准的趋势。
数仓模型不分高下，都是一种观察现实的角度。维度模型以实体与实体之间发生的事务/实为切入，而关系建模则以实体与实体之间的关系来组织数据。在当前的环境下，互联网更倾向于维度建模，而传统行业则较多沿用关系建模。
个人先后经历金融、互联网数仓建设，有多个0到1的项目经历，对于数仓建设仍在持续学习中。如有错误之处，还请多指出交流。
模型理念
维度建模
以事实表为核心，多个维度表作为手臂形成的星型模型，是维度建模的典型实现方式。
事实表，记录业务过程中发生的可度量事件，如订单中的消费金额，折扣金额或是库存数量等，在实际业务中事实表占据主要的存储，如订单表；而维度表，则是对业务过程度量有关的文本环境，描述“谁、什么、哪里、何时、如何、为什么”，常用的维度表有日期、产品、用户、地址等。一般维度表会冗余信息，有超过100个列的维度表，这样的不规范化带来数据组织上的简单。
关系建模
关系建模，被称为“实体-关系”模型，以一种“标准化”的方式存在，强调数据之间非冗余，满足3NF。在建设过程中，将数据标准化到细节级数据，如用户主题下，会有用户与姓名、用户与年龄、用户与住址等。在传统行业中，成熟的关系建模有ls-ldm模型，面向金融行业形成10大主题。
建模实现的对比
| 对比 | 维度建模 | 关系建模 |
|---|---|---|
| 建设周期 | 短 | 长 |
| 优点 | 高效 | 灵活 |
| 实践方式 | 需求导向 | 抽象化企业数据 |
| 常用范围 | 数据集市 | 企业模型 |
维度建模： 从实际的需求出发进行数据建设，一般面向部门/业务形成独立的数据集市，这样的方式带来鲜明的特点，高效。但由于基于需求出发，往往导致频繁的需求迭代带来的维护成本较高，一旦业务过程发生调整，模型有可能会重来的风险。
关系建模：面向企业进行模型建设，具有较强的抽象性。建设时以3NF的方式建设无冗余的数据，使模型具有很高的灵活性，但由于不能直接面向需求，效率上不如维度模型。另外面向企业建设，周期相比于维度建模，要长的多，但也有个好处：企业数据集成更容易。
模型选择
在企业内，这两种建模方式往往同时存在，基础数据仓库的建设使用关系建模，技术的优雅换来了数据的精简，保证高度抽象、高度一致性，要求业务稳定；往上维度建模更合适一些，偏向于直接面对业务，靠数据的冗余带来了可用性，保证查询效率。两者优势互补
Data Vault 简介
设计示例
在大数据的环境下，数据存储和发展已发生很大变化，曾经的维度建模和关系建模在当前的场景下都有各自的不足之处。那数据仓库在大数据环境下如何发展、成熟？Inmon等就提出了data vault模型
data valult是一个面向细节的、历史追溯的并且唯一链接的规范化表集，能给支持一个或者多个业务功能区；是一种中心辐射式模型，其设计重点围绕着业务键的集成模式。data vault有三种基本的实体(结构)
-
中心表(Hub)：实际业务键的集合，如订单信息表等
-
链接表(Link)：记录着业务键之间的关系和联系，没有开始或者结束日期，只记录数据到达数据仓库那一时刻的关系的一种表达
-
卫星表(Satellite)：数据仓库概念的表，存储了随时间推移的非易失数据。
从建模风格上看，它采用了一种由第三范式方法与维度建模方法混合而成的方式，以二者的独特组合来满足企业需求。
网友评论