美文网首页
业务数仓理论与搭建

业务数仓理论与搭建

作者: etheon | 来源:发表于2020-02-19 10:43 被阅读0次

# 表的分类

1.实体表

现实存在的业务对象。

2.维度表

对应一些业务状态,编号的解释表。

3.事务性事实表

随着业务发生不断产生的数据,一旦发生不会再变化。

4.周期性事实表

随着业务发生不断产生的数据。

# 表的同步策略

全量表,增量表,新增及变化表

1.实体表同步策略

每日全量

2.维度表同步策略

每日全量

3.事务型事实表同步策略

每日增量表,即每日创建一个分区存储。

4.周期型事实表同步策略

每日新增及变化量,包括了当日的新增和修改。

# 业务数仓架构图

业务系统rds

maxcompute

rds

quickbi

1.业务表结构

2.业务数仓分层

# rds服务器准备

1.rds服务器购买

2.rds服务器配置

# 创建业务数据库及表

# ods层数据表创建

# 数据同步

1.建立数据同步节点

2.每日全量表同步

3.每日增量表同步

4.每日及变化表同步

5.ods层调度

# dwd层

对ods层数据进行一定清洗加工,把原本关系型表结构进行一定程度的维度退化。

1.建表语句

2.手动导入dwd层

3.数据导入脚本

# dws层

针对明细粒度的数据进行短周期的汇总。面向分析对象的主题聚集建模。

1.建标语句

2.手动导入dws层

3.数据导入脚本

# ads层

1.建表语句

2.手动导入ads层

3.数据导入脚本

# 作业调度

相关文章

  • 业务数仓理论与搭建

    # 表的分类 1.实体表 现实存在的业务对象。 2.维度表 对应一些业务状态,编号的解释表。 3.事务性事实表 随...

  • 项目需求分析

    1.采集埋点日志数据 2.采集业务数据库中的数据 3.数据仓库的搭建(用户行为数仓,业务数仓) 4.分析统计业务指...

  • 从0开始研究数据仓库的一些想法

    研究方向 数仓理论:分层设计理论、维度建模理论基于OLAP数仓:adb/clickhouse/greenplum/...

  • 数仓理论

    表的分类 1 实体表,一般是指一个现实存在的业务对象,比如用户,商品,商家等 2 维度表,一般是指对应一些业务状态...

  • 数仓实战02:数仓理论

    1.范式理论 1. 范式概念1)定义范式可以理解为设计一张数据表的表结构,符合的标准级别。 规范和要求2)优点关系...

  • 数仓入门基础-6-数仓建模

    个人博客:https://renwula.github.io/,本系列基于互联网公司数仓,使用hive搭建数仓 ...

  • MySQL主从复制--单库复制搭建

    背景说明 负责公司MySQL数仓的搭建和维护,因为前端业务涉及到一次业务表的分库,导致整个平台新增加一台MySQL...

  • 基于MongoDB实现的实时数仓

    一、概述     目前公司离线数仓现状,数仓部门每日凌晨后处理昨天的线上业务数据,因此第二天业务人员才看到的报表,...

  • 数仓与数仓建模

    一、数据仓库 **英文名称为Data Warehouse,可简写为[DW]或DWH。是为企业[https://ba...

  • 数仓实战03:数仓搭建-ODS 层

    1.创建数据库 1)启动hive[atguigu@hadoop102 hive]$ nohup bin/hive ...

网友评论

      本文标题:业务数仓理论与搭建

      本文链接:https://www.haomeiwen.com/subject/jmggfhtx.html