前言：
最近做需求的时候，涉及到了数仓相关的知识。
简单介绍下数仓的一些基本概念。
以及，了解下大数据开发的一些基本流程。
一、什么是数仓？
数据仓库 ，由数据仓库之父比尔·恩门（Bill Inmon）于1990年提出的。
1991年，他写了一本书，叫《Building the Data Warehouse》（建立数据仓库），书中提出的：数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、不可修改的（Non-Volatile）、与时间相关的（Time Variant）的数据集合，专门用于支持管理决策(Decision Making Support)。
简单来说，有了大数据的支撑，会让我们更加容易的做出正确的产品决策。
因此，对于一个产品的长期发展来说，需要基于大数据的分析，甚至A/B实验（用户行为、业务数据等等），来判断产品需求的效果以及业务痛点。
1.1 简介
数据仓库（
Data warehouse，简称DW或DWH），是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。（来源：百度百科）
1.2 数仓特点
面向主题
- 数据仓库中的数据是按照一定的主题域进行组织的。
- 主题是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通过与多个操作型信息系统相关。
集成的：
- 需要对源数据进行加工与融合，统一与综合
- 在加工的过程中必须消除源数据的不一致性，以保证数据仓库内的信息时关于整个企业的一致的全局信息。（关联关系）
不可修改的：
- DW中的数据并不是最新的，而是来源于其他数据源
- 数据仓库主要是为决策分析提供数据，涉及的操作主要是数据的查询
时间相关的：
- 处于决策的需要数据仓库中的数据都需要标明时间属性
1.3 数仓与数据库的对比？
- 数据库：一般用于在线处理业务、存储数据。
- DW：专门为数据分析设计的，涉及读取大量数据以了解数据之间的关系和趋势。（往往是离线的，类似定时任务）
| 特性 | 数据仓库 | 数据库 |
|---|---|---|
| 职责 | 大数据分析 | 业务事务处理 |
| 数据源 | 从多个来源收集或标准化数据 | 往往从单个来源（某个事务系统）产生数据 |
| 数据标准化 | 非标准化schema，例如星型Schema或雪花型schema | 高度标准化的静态schema |
| 数据存储 | 使用 “列存储” 进行了优化，可实现轻松访问和高速查询列性能 | 往往采用 “行存储”，对在单行型物理块中执行高吞吐量写入操作进行了优化。 |
| 数据访问 | 为最小化I/O并最大化数据吞吐量进行了优化 | 大量小型读取操作 |
二、数据分层处理
每个企业/业务，可以根据自己的场景将数据分层加工处理。
正常情况下，一般会分为三层：
- 数据运营层（
ODS） - 数据仓库层（
DW） - 数据应用层（
ADS）
我们的业务数据会经过 ODS -> DW -> ADS，最终加工成我们所要分析的大数据。
接下来，我们分别介绍一下每一层具体的作用。
2.1 数据运营层（ODS）
ODS：Operation Data Store 数据准备区，也称为贴源层。
数据仓库源头系统的数据表通常会原封不动的存储一份，这称为ODS层，是后续数据仓库加工数据的来源。
ODS层数据的来源方式：
-
业务数据库
经常会使用sqoop来抽取，例如每天定时抽取一次。
实时方面，可以考虑监听mysql的binlog，实时接入即可。 -
消息队列
即来自Kafka、RocketMQ、ActiveMQ 等等的数据。 -
埋点日志
日志一般以文件的形式保存，可以选择用flume定时同步
可以用spark streaming或者Flink来实时接入，kafka也OK
2.2 数据仓库层（DW）
DW 层一般又分为三小层，分别是 DWD、DWB、DWS。
DWD（数据细节层）
DWD：data warehouse details 细节数据层，是业务层与数据仓库的隔离层。
主要对ODS数据层做一些数据清洗和规范化的操作。
在这层往往会去除空值、业务脏数据、超过极限范围的数据
DWB（数据基础层）
DWB：data warehouse base 数据基础层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。
DWS（数据服务层）
DWS：data warehouse service 数据服务层，基于DWB上的基础数据，整合汇总成分析某一个主题域的服务数据层，一般是宽表。用于提供后续的业务查询，OLAP分析，数据分发等。
用户行为，轻度聚合
主要对ODS/DWD层数据做一些轻度的汇总。
2.3 数据应用层（ADS）
ADS：applicationData Service应用数据服务，该层主要是提供数据产品和数据分析使用的数据，一般会存储在ES、mysql等系统中供线上系统使用。
我们通过说的报表数据，或者说那种大宽表，一般就放在这里
网友评论