数据仓库基础概念分享

作者: 数据僧 | 来源:发表于2019-03-15 14:35 被阅读17次

目前先只总结部分基础概念,后在陆续整理

数据仓库

是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合.

实施建设数据仓库的指导原则:

1,简化需求收集和设计
2,支持业务和It用户写作
提供一个全局的术语表(数据字典),用于写作并根据他们集体业务视角在去调整
3,避免代价高昂的低级错误和返工
4,识别匹配信息,创建单一视图
5,使用最快,最具伸缩性的方法进行转换和发布
6,通过信息服务扩展信息可访问性

事实表

凡事用来定量分析的都称之为事实表。所有的数据都可以存入事实表。

事实表的特点:

1,数据量大
2,粒度细
3,冗余

维度表

凡事用于分组的数据都是维度。一般是group by 的字段

维度表特点:

数据量小
需要全局定义一致
注意处理缓慢变化维度
整个数据仓库的根本,维度表出错,数据仓库就意味着失败。

缓慢变化维度

总共有8种处理方式。
能够支持方便的分析历史变化情况

缓慢变化维度-SCD1:重写

缓慢变化维度-SCD1:重写

缓慢变化维度- SCD2:增加新行

SCD2:增加新行
SCD2:增加新行

缓慢变化维度- SCD3:增加新属性保留旧属性

SCD3:增加新属性保留旧属性
SCD3:增加新属性保留旧属性

缓慢变化维度- SCD4:增加微型维度

SCD4:增加微型维度

缓慢变化维度-其它4中处理方式

数据仓库中如何使用缓慢变化维技术- https://www.toutiao.com/i6630002750304289288

键-代理键

特点:
无业务含义,当业务发生变更,不会给数据仓库带来灾难性后果。所有的数据通过代理键进行关联。
事实表是否需要代理键:不需要
维度表是否需要代理键:需要

键-其它

候选键:包含主键 和可选键 ,主键可以作为其它表的外键。
主键的:生成方式分为两类:自然键和代理键。
自然键:具有一定业务含义,且标示身份,一行数据。如员工编号。
持久键:保持永久性不会发生变化。有时也被叫做超自然持久键。

数据仓库实施风险

1,时间周期长
2,高层意志不坚决
3,业务理解不透彻,狭隘
4,仓库执行人执行力推动力不够
5,数据质量不能保障
6,设计缺陷,造成返工


数据僧 历史文章

数据仓库-概述-读书笔记一
数据仓库-DW/BI架构对比-读书笔记二
数据仓库-事实表/维度表技术-读书笔记三
维度处理-数据仓库-读书笔记(四)
数据仓库-高级事实表技术-读书笔记五
数据仓库-高级维度表技术-读书笔记六
数据仓库,零售业务举例,维度模型设计4步骤,读书笔记(七)
数据仓库-零售业务举例维度表设计细节-读书笔记(八)
数据仓库-零售业务举例如何提高仓库扩展能力-读书笔记(九)
数据仓库-零售业务中库存如何设计-读书笔记(十)
如何使用缓慢变化维技术
数据仓库-订单管理应该注意那些
ETL中前期数据分析、变化数据探测,数据获取 注意事项


数据僧 参考资料

数据仓库工具箱


如果您觉得我用心了,觉得您有所收获,麻烦关注下我吧,您的关注就是我的动力,因为有你,我就不是一个人在前行。

数据僧

相关文章

  • 数据仓库基础概念分享

    目前先只总结部分基础概念,后在陆续整理 数据仓库 是一个面向主题的(Subject Oriented)、集成的(I...

  • 数据仓库建模方法论Kimball与Inmon详解

    「分享数据大咖实践经验 网罗职场大佬成长秘籍」 一、数据仓库的相关概念 1.什么是数据仓库 数据仓库一种面向分析的...

  • 数据仓库模型设计

    仓库数据模型知识 数据仓库模型设计方法论 数据分类规划 数据分布调研 数据CRUD操作调研 基础概念模型 概念模型...

  • 大数据经典学习路线(及供参考)之 二

    2.1 数据仓库增强 2.1.1 数据仓库及数据模型入门 什么是数据仓库、数据仓库的意义、数据仓库核心概念、数据仓...

  • 数仓基础概念

    数据仓库 什么是数据仓库? 数据仓库,英文名称为Data Warehouse,关于数据仓库概念的标准定义业内认可度...

  • 数据仓库-Hive基础(一)数据仓库的概念

    基本概念 英文名称为Data Warehouse,可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化 数据...

  • 数据仓库概念

    数据仓库概念汇总 目录 一、术语............................................

  • 数据仓库技术

    数据仓库基础 数据仓库的价值 数据仓库的源数据类型 数据仓库的基本架构 数据仓库的多维数据模型 数据立方体与OLA...

  • 简述:数据中台、数据仓库、数据湖

    概述: 简述数据仓库、数据湖、数据中台的相关概念。 一、数据仓库: 1、定义: 数据仓库之父 W.H.Inmon ...

  • 第8章 基于Hadoop的数据仓库-Hive

    (本章教材上没有) 8.1 概述 8.1.1 数据仓库概念 概念数据仓库是一个面向主题的、集成的、相对稳定的、反映...

网友评论

    本文标题:数据仓库基础概念分享

    本文链接:https://www.haomeiwen.com/subject/bqmlmqtx.html