数据仓库建模目的:
性能,为查询
数据成本:减少冗余,计算成本
使用效率
数据质量
ODS 将数仓需要数据与源系统隔离,标记数据来源及落库时间
DWD 数仓明细层, 数据降噪,数据标准统一,创建公共维度表
DWS 数仓服务层, 创建宽表,划分维度,事实模型表,数据轻度汇总
DM 亦可为ADS 数据应用服务层,数据汇总整合,为应用提供数据
不要一个DWS表供应 全部ADS 表,这样一旦次表处理失败影响后续全部应用。
尽量按应用主题划分不同的表为上层提供服务,减小故障影响面积。
ODS 将数仓需要数据与源系统隔离,标记数据来源及落库时间
DWD 数仓明细层, 数据降噪,数据标准统一,创建公共维度表
DWS 数仓服务层, 创建宽表,划分维度,事实模型表,数据轻度汇总
DM 亦可为ADS 数据应用服务层,数据汇总整合,为应用提供数据
不要一个DWS表供应 全部ADS 表,这样一旦次表处理失败影响后续全部应用。
尽量按应用主题划分不同的表为上层提供服务,减小故障影响面积。
本文标题:Hadoop 数据仓库建模2020-06-09
本文链接:https://www.haomeiwen.com/subject/olqstktx.html
网友评论