一、概要

大数据平台由底层至上可分为：原始数据层、数据仓库、数据应用层。

图来自《数据产品经理修炼手册》梁旭鹏

二、原始数据层——ODS(Operational Data Store)层：

从数据来源来说

ODS层主要从 a.客户端用户操作日志（埋点，如PV、点击某按钮的次数）数据、

                        b.业务数据库（后端数据，如成交量、销售额）   获得数据。

从存储量来说

ODS层一般a.存储当前需要加载的数据，

                  b.存储处理完的历史数据，一般一定周期后（如3-6个月，具体看业务需要）清除，以此节省空间。

特点：

ODS数据结构、逻辑与数据来源保持一致，按分钟跟随业务系统数据变化，按天归档后汇入DW。

此层目的：

a.一个是对散落多处的业务系统数据进行汇总，便于后续数据的抽取

b.转移一部分查询生成报表的压力，缓解业务系统的压力。

c.便于细节数据问题的定位查询。DW层是汇总后的数据，ODS层与原业务系统结构一致，可在此层进行定位。

三、数据仓库——DW (Data Warehouse)层：

通过ETL（抽取（extract）转换（transform）加载（load)）对ODS层数据进行逻辑加工处理而得到。为了满足企业做各种决策的集成数据环境，既不产生数据，也不消费数据。

ETL(Extract-Transform-Load)，将数据从来源端经过 抽取、转换、加载 至目的端的过程。

a.抽取（extract）：数据从数据源读出来

b.转换（transform）:把原始数据转换成期望的格式、维度，包含数据清洗，去除噪音过程。(  比如：空值处理 / 规范化数据格式 / 拆分数据 / 验证数据合法性 / 数据替换 / 实现数据规则过滤 / 数据排序 / 数据类型统一转换 )

c.加载（load）:把处理后的数据加载到目标处，比如数据仓库

数仓演变图-图来自阿里云云栖社区-付空

当前数据仓库按时效性需求分类，可分为两类：

a.实时数仓：实时产生结果

b.离线数仓：处理和保存大量异构复杂历史全量数据（如T+1的文本、图像、视频、音频）；

实时数仓以Kappa架构为主，而离线数仓以传统大数据架构为主。Lambda架构是两者的中间态。

.下图为离线大数据架构示例:

离线数仓架构示例-图来自阿里云云栖社区-付空

此时数仓按汇总处理程度，又可细分为：

a.基础层（DWD明细表）、b.数据集市（DM(Data Mart)面向应用，依据业务需要做不同维度的聚合汇总，如电商的商品主题、订单主题、佣金主题、维度表、事实表，一般是T+1）。

.下图为实时Kappa架构示例:

实时Kappa架构示例 -图来自阿里云云栖社区-付空  

四、数据应用层 —— 消费数据仓库的数据：

应用可分为三类：

1)描述事实类分析应用

主要是对当前事实数据进行可视化展现。比如通过EXCEL\BI工具对常规业务报表，明细数据表等进行可视化展现。

2)预测性分析应用

根据过去的事实数据，通过成熟算法模型对未来业务趋势效果进行计算、预测。

3）指导意见

基于业务经验和过去事实、未来预测输出全面分析专题报告，为商业决策提供指导意见。