【演奏的船长】数据分析学习记录W16——数据库基础概念及相关关系

作者: 演奏的船长 | 来源:发表于2019-07-21 15:13 被阅读0次

本周继续了解了数据库的基础知识，从数月前刚开始接触数据库的一个问题出发——“ODS是什么？”，找到了以下关键词的定义、描述及相关关系，建立了框架性认知，现记录如下。

最简表达

DB（Database）数据库——这里一般指的就是OLTP数据库，在线事物数据库，用来支持生产的，比如超市的买卖系统。DB保留的是数据信息的最新状态，只有一个状态！比如，每天早上起床洗脸照镜子，看到的就是当时的状态，至于之前的每天的状态，不会出现的你的眼前，这个眼前就是db。

DW（Data Warehouse）数据仓库——这里保存的是DB中的不同时间点的状态，比如，每天早上洗完照镜子时，都拍一张照片，天天这样，这些照片放入到一个相册中，之后就可以查看每一天的状态了，这个相册就是数据仓库，他保存的是数据在不同时间点的状态，对同一个数据信息，保留不同时间点的状态，就便于我们做统计分析了。

ETL（Extraction-Transformation-Loading）数据抽取——用于完成DB到DW的数据转存，它将DB中的某一个时间点的状态，“抽取”出来，根据DW的存储模型要求，“转换”一下数据格式，然后再“加载”到DW的一个过程，这里需要强调的是，DB的模型是ER模型，遵从范式化设计原则，而DW的数据模型是雪花型结构或者星型结构，用的是面向主题，面向问题的设计思路，所以DB和DW的模型结构不同，需要进行转换。
ODS（Operational Data Store）操作性数据——是作为DB到DW的一种过渡，ODS的数据结构一般与数据来源保持一致，便于减少ETL的工作复杂性，而且ODS的数据周期一般比较短。ODS的数据最终流入DW

DM（Data Mining）数据挖掘——这个挖掘，不是简单的统计了，他是根据概率论的或者其他的统计学原理，将DW中的大数据量进行分析，找出我们不能直观发现的规律，比如，如果我们每天早上照相，量身材的时候，还记录下头一天吃的东西，黄瓜，猪腿，烤鸭，以及心情，如果记录上10年，形成了3650天的相貌和饮食心情的数据，我们每个人都记录，有20万人记录了，那么，我们也许通过这些记录，可以分析出，身材相貌和饮食的客观规律。
OLAP（On-Line Analytical Processing）——在线分析系统，简单说就是报表系统，销售报表，统计报表，等等，这个大家都熟悉，当然，OLAP的统计要更复杂更丰富一些，比如切面，钻取等等。用数据分析软件，如Tableau等连上数据库就可以实现这种效果。
BI（Business Intelligence）商业智能——领导，决策者，在获取了OLAP的统计信息，和DM得到的科学规律之后，对生产进行适当的调整，比如，命令超市人员将啤酒喝尿布放在一起销售（PS.这只是传说），这就反作用于DB修改存货数据了——这就是整个BI的作用！