阿里云离线数仓(一)

学一下阿里云数仓中的部件

1.数据仓库概念

1. 数据仓库定义
   为企业所有决策制定过程,提供所有系统数据的战略集合
2. 数据仓库好处
   帮助企业改进业务流程,控制成本,提高产品数量
3. 数据仓库做什么
   清洗,转换,分类,重组,合并,拆分,统计
4. 数据仓库输出到哪
   报表系统 用户画像 推荐系统 机器学习 风险控制

2.项目需求和项目设计

项目需求

采集埋点日志数据
采集业务数据库中的数据
数据仓库的搭建(用户行为的数仓 业务数仓)
分析统计业务指标
对结果进行可视化展示

计算框架

DataHub 数据总线(缓冲)
maxcomputer 大数据计算框架
Dataworks 可视化的maxcomputer的开发管理平台
RDS 关系型数据库
QuickBI 可视化数据展示工具
ECS 弹性服务器

技术选型

1. 数据采集与传输
2. 数据的存储
3. 数据的计算
4. 数据的可视化展示

系统数据流程设计

系统数据流程设计

服务器选型

物理机还是云主机

集群规模

集群规模

3.数据生成模块

商品列表页

商品列表页

商品曝光

商品曝光

商品详情页

商品详情页

购物车

购物车

广告

广告

消息通知

消息通知

评论

评论

收藏

收藏

错误日志

错误日志

启动日志报告

启动日志报告