最近几年工作中，接触到一些关于数仓建模的工作，说是建模，其实个人感觉自己也就入个门而已，有一点儿自己的理解，这里会简单整理下自己的想法结合找到的一些资料，分享给大家看看，可以多多交流。
什么是数据仓库
数据仓库（DataWarehouse），一般缩写成DW、DWH。数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。
--来自智库百科
从字面上来看，数据仓库就是一个存放数据的仓库，它里面存放了各种各样的数据，而这些数据需要按照一些结构、规则来组织和存放。这里我们会遇到一个问题就是同样是存放数据的仓库，那数据库和数据仓库是一样的吗？
数据库 VS 数据仓库
数据库就是我们常用的关系型数据库（MySQL、Oracle、PostgreSQL...），还有什么非关系型数据库，它主要存放业务数据，那数据仓库有有些什么数据呢？
说到他们的区别，我们一般会提到OLTP和OLAP，
OLTP：on-line transaction processing，联机事务处理，主要是业务数据，需要考虑高并发、考虑事务
OLAP：On-Line Analytical Processing，联机分析处理，重点主要是面向分析，会产生大量的查询，一般很少涉及增删改
他们的区别，面试时也会提到，主要从几个点谈谈就行。
大数据
数据仓库其实是一套体系，他不是一门什么技术，而是整合了很多已有的技术，来更好地组织和管理数据。
传统数仓的话，主要是基于关系型数据库，后面还有一些分布式的数据库像Greenplum，还有很多公司会提供基于硬件的一整套解决方案。在传统数仓开发时，由于硬件的性能有限，所以有很多的要求，而随着硬件价格的下降、云服务器的广泛使用，还有大数据技术的成熟发展，数仓的很多场景都变了，有些规则都不需要去严格遵守了，这样也可以剩下很多的成本。
后记
上面大概整理了数仓的基本概念，一些常见的问题，最主要的其实是基于Hadoop和传统数仓的区别，这个后面会再深入整理下，这回先说到这里，后面如果有概念性的东西，还会整理在这一章。
网友评论