数据平台笔记

数据生产:

接入流程、上报地址API对接、埋点规范、埋点内容、数据测试、业务DB

数据采集：

Flume日志， Kafka消息队列， Storm流式计算， 业务DB拉取

数据清洗： 需要基于业务导向、维度、模型，进行相应的清洗

涉及配置中心、调度系统、依赖展示、执行管理

数据仓库

维度建模、分层、ODS、DW、DM、DIM

数据计算

业务描述、统计规则、调度平台、离线计算、实时计算

应用

实时监控、离线分析、精细化运营工具、智能预警及分析、邮件、分析、挖掘

ETL：是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。