美文网首页
Hadoop 数据仓库建模2020-06-09

Hadoop 数据仓库建模2020-06-09

作者: dataHunter | 来源:发表于2020-06-09 17:26 被阅读0次

数据仓库建模目的:

性能,为查询

数据成本:减少冗余,计算成本

使用效率

数据质量

ODS 将数仓需要数据与源系统隔离,标记数据来源及落库时间

DWD 数仓明细层, 数据降噪,数据标准统一,创建公共维度表

DWS 数仓服务层, 创建宽表,划分维度,事实模型表,数据轻度汇总

DM 亦可为ADS 数据应用服务层,数据汇总整合,为应用提供数据

不要一个DWS表供应 全部ADS 表,这样一旦次表处理失败影响后续全部应用。
尽量按应用主题划分不同的表为上层提供服务,减小故障影响面积。

相关文章

  • Hadoop 数据仓库建模2020-06-09

    数据仓库建模目的: 性能,为查询 数据成本:减少冗余,计算成本 使用效率 数据质量 ODS 将数仓需要数据与源系统...

  • 数仓建模 - 维度 vs 关系

    数据仓库模型建设 模型概念 维度建模 关系建模 建模实现对比 模型选择 Data Vault 简介 数据仓库模型建...

  • 5000字长文分享!数据仓库的建设与框架终于有人给讲明白了

    数据仓库,这个几乎是所有大数据开发面试必问的话题。比如数据仓库的分层架构?为什么需要数据仓库建模?数据仓库建模的原...

  • 大数据

    基于Hadoop的数据仓库 ** Mapreduce + Hadoop Distributed File Syst...

  • hadoop学习笔记

    这篇为学习hadoop的笔记,书籍来自《Hadoop构建数据仓库实战》 hadoop简介   hadoop是一个由...

  • 大数据相关

    hadoop原理 spark原理 kafka原理 数据仓库部分 Hadoop原理 MapReduce的原理默认根据...

  • 初识Hive和Hadoop 2020-04-11

    Hive数据仓库 -- 基于Hadoop(一个分布式系统架构) -- HDFS(Hadoop Distribute...

  • 数据仓库建模——维度建模

    数据仓库的建模方法有很多种,常见的有维度建模法、范式建模法、实体建模法等,下面主要介绍一下维度建模法。 维度建模的...

  • Kimball维度建模技术总结

    Kimball维度建模技术几乎已经成为数据仓库建模的最佳实践。维度建模的基本概念总结。 收集业务需求 在建模工作前...

  • 离线数仓二

    数据仓库维度模型设计 维度建模基本概念 维度模型是数据仓库领域大师Ralph Kimall所倡导,他的《数据仓库工...

网友评论

      本文标题:Hadoop 数据仓库建模2020-06-09

      本文链接:https://www.haomeiwen.com/subject/olqstktx.html