1.首先进行数据相关的调研，主要包含业务调研和需求分析，通过业务调研来把握可以实现哪些需求，哪些需求目前业务方面的数据无法满足，这些都是可以获知的。
2.构建总线矩阵，这里需要明确三个方面:明确业务过程中所属的数据域;明确维度和业务过程的关系;明确原子指标和派生指标。
3.进行明细模型设计，主要是构建维度模型和明细事实表模型设计，以及确定双重粒度的cdm模型。
4.最后再进行数仓优化及相关的数据验证。
附数仓中各个层级的命名方式
ods层: ods_来源库_来源表名（_delta）
edw层:edw_主题域_表名（_delta）
cdm层:cdm_主题域_表_（dd&ds…）
adm层:adm_主题域_表名_（dd&ds…）
备注: _delta表示是否为增量表
_dd 表示日明细
_ds 表示按天汇总
_ww 表示周明细
_ws 表示周汇总
_mm表示月明细
_ms表示月汇总
_qq表示季度明细
_qs表示季度汇总
_yy 表示年度明细
_ys表示年度汇总
另外_ndd表示n天的明细或者汇总,n周n月n季度n年类似。
1.首先进行数据相关的调研，主要包含业务调研和需求分析，通过业务调研来把握可以实现哪些需求，哪些需求目前业务方面的...
数仓开发 确定主题 选择平台软件，譬如hdfs/hbase/hive，以满足不同需求 梳理数据仓库的逻辑模型，譬如...
@阿泱 一个热爱数据产品的工具人。 “数据人创作者联盟”成员。 接：业务数仓建模，平台工具+数仓构建数据产品[ht...
作者介绍 @阿泱 一个热爱数据产品的工具人。 “数据人创作者联盟”成员。 01引言 “数据仓库的搭建帮助笔主保证了...
1，了解什么是数仓？以及数仓的特点是什么？ 这两个问题放在一起去聊了，因为一般面我们在理解一个工具出现的时候，本身...
HistoryService 管理流程实例结束后的历史数据 构建历史数据的查询对象 根据流程实例id删除流程历史数...
技术文章基于Flink构建实时数仓离线数仓已经很常见文中展示了通过Flink的使用，取代原有Hive模块，取得实时...
00背景 规范约束是数仓建设的全流程，以及后续的迭代和运维的参照。事实上，数仓规范文档，应该随着架构设计文档，在数...
维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，在建设离线数仓的时候，通常是将维表与事实表进行关联构建星...
作者：蚂蚁金服数据中台技术专家－王飞（必武）整理:平凡的世界-zkx,转载请注明出处。 第一节会介绍一下数据仓库的...
本文标题：数仓构建流程
本文链接：https://www.haomeiwen.com/subject/irhightx.html
网友评论