数据的实效性一般分三种：

• 离线：在今天（T）处理N天前（T-N，N>=1)的数据，延迟时间粒度为天。
• 准实时：在当前小时（H）处理N小时前（H-N，N>0，如0.5小时、1小时等）的数据，延迟时间粒度为小时。
• 实时：在当前时刻处理当前的数据，延迟时间粒度为秒。

离线和准实时都可以在批处理系统中实现，而实时数据则需要在流式处理系统中完成。

一、流式技术架构

在流式计算技术中，需要各个子系统之间相互依赖形成一条数据处理链路，才能产出结果最终对外提供实时数据服务。子系统：

• 数据采集
• 数据处理
• 数据存储
• 数据服务

流式技术架构图

1.数据采集

实时采集，两种数据：

• 数据库变更日志
• 引擎访问日志

日志在业务服务器上落地成文件，只要监控文静的内容发生变化，采集工具就可以把最新的数据采集下来。基于下面的原则按批次对数据进行采集：

• 数据大小限制
• 时间阈值限制

数据中间件：把采集到的数据分发给下游（kafka，timetunnel（阿里的kafka）等）
消息系统：业务数据库变更的消息中转

image.png

时效性和吞吐量是数据处理中的两个矛盾体，很多时候需要从业务角度来权衡使用什么样的系统来做数据中转。

2.数据处理

实时计算任务部署在流式计算系统上，通过数据中间件获取到实时源数据后进行实时加工处理。流计算引擎：

• Storm
• Spark Streaming
• Flink
• StreamCompute（阿里）

实时任务遇到的典型问题：

• 去重指标
• 数据倾斜
• 事务处理

3.数据存储

三种类型的数据：

• 中间计算结果
• 最终结果数据
• 维表数据

4. 数据服务

实时数据落地到存储系统中后，通过统一的数据服务获取到实时数据。

二、流式数据模型

类似于离线模型也分五层，由于实时计算的局限性，每一层中没有像离线做得那么宽，维度和指标也没有那么多，整体来看，实时数据模型是离线数据模型的一个子集。

1.数据分层

• ODS：数据操作层，原始数据，粒度最细。
• DWD：实时事实明细层。
• DWS：各个维度的汇总指标，可作为通用的数据模型使用。
• ADS：个性化维度汇总层。

• DIM：从离线维表层导过来的。

  
  image.png

其中，ods层导dim层的etl处理是在离线系统中进行的，处理完成后会同步到实时计算说使用的存储系统。
ods层和dwd层会放在数据中间件中，供下游订阅使用。
dws层和ads层会落地到在线存储系统中，下游通过接口调用的形式使用。

2.多流关联

在流式计算中常常需要把两个实时流进行主键关联，以得到对应的实时明细表。

image.png

3.维表使用

关联维表一般会使用当前的实时数据（T）去关联T-2的维表数据。原因如下：

• 数据无法及时准备好
• 无法准确获取全量的最新数据
• 数据的无序性

4. 大促保障

略