美文网首页
数仓设计标准

数仓设计标准

作者: 奉先 | 来源:发表于2018-07-04 10:05 被阅读59次

1.编码命名规范

  1. 表命名(根据数据仓库的层级架构确定不同的命名):
    (1)维度层:
    说明:定义数据仓库公用的维度表,例如城市维度、用户状态等硬编码维表。
    DIM_维表业务描述
    (2)源数据层:
    说明:直接获取埋点、源系统mysql等数据,做些简单的解析工作,保证和源数据一致。
    ODS_源系统描述源表名
    (3)基础层数据:
    当前表 : DW
    主题域表描述[h|d]
    历史表: DW_主题域表描述[h|d]HIS
    (4)集市层数据:
    MART
    主题表描述信息
    (5)应用层数据:
    支持报表: APP_REPORT
    业务描述
    支持数据挖掘: APP_MINING_业务描述

2.主题域定义:
(1)订单主题域: ORD
(2)轨迹: TAK
(3)关键点分析: POI
(3)关键区域分析:AOI

2.模型设计规范

3.ETL开发规范

ETL代码开发规范,按照“XT-数据协同”中代码模板开发:

##-- 这个是sqlweaver(美团自主研发的ETL工具)的编辑模板
##-- 本模板内容均以 ##-- 开始,完成编辑后请删除
##-- ##xxxx## 型的是ETL专属文档节点标志, 每个节点标志到下一个节点标志为本节点内容
##-- 流程应该命名成: 目标库dsn名.目标表名

##Description##
##-- 这个节点填写本ETL的描述信息, 包括目标表定义, 建立时的需求jira编号等

##TaskInfo##
creator = 'AnonymousUser@meituan.com'

source = {
    'db': META[''], ##-- 单引号内填写一个dsn库名,表示Extract阶段的SQL在哪个数据库里执行
}

stream = {
    'format': '', ##-- 这里的单引号中填写目标表的列名, 以逗号分割, 与Extract节点的结果顺序对应, 特殊情况Extract的列数可以小于目标表列数
}

target = {
    'db': META[''], ##-- 单引号内填写目标库的dsn名
    'table': '', ##-- 单引号中填写目标表名
}

##Extract##
##-- Extract节点, 这里填写一个能在source.db上执行的、读取数据的sql

##Preload##
##-- Preload节点, 这里填写一个能在target.db上执行的、load数据之前执行的sql(可以留空)

##Load##
##-- Load节点, 这里填写一个能在target.db上执行的、load数据的sql(可以留空)

##TargetDDL##
##-- 目标表表结构

4.流程规范:

数仓开发流程

相关文章

  • 数仓设计标准

    1.编码命名规范 表命名(根据数据仓库的层级架构确定不同的命名):(1)维度层:说明:定义数据仓库公用的维度表,例...

  • 数仓与数仓建模

    一、数据仓库 **英文名称为Data Warehouse,可简写为[DW]或DWH。是为企业[https://ba...

  • 数仓建设规范

    本文将全面讲解数仓建设规范,从数据模型规范,到数仓公共规范,数仓各层规范,最后到数仓命名规范,包括表命名,指标字段...

  • 美团实时数仓建设

    实时数仓和传统数仓的对比 实时数仓和传统数仓的对比主要可以从四个方面考虑:●第一个是分层方式,离线数仓为了考虑到效...

  • 2020设计技能-《家具设计尺寸标准》

    【格式】PDF 【目录】 1.趟门衣柜设计标准 2.平开门衣柜设计标准 3.功能件设计标准 4.书柜类设计标准

  • 成品仓的管理诊断201706191103

    成品仓的管理异常,简单总结如下: 1、现象: 成品仓的入库数、发货数、客收数、退货数、退库数不准 2、后果: 班组...

  • 说说数仓(3) - 数仓架构

    近几年工作都和BI有关,但是真正对数仓有系统的了解还是在第一家公司的时候,当时跟着IBM的顾问,了解了很多的模型设...

  • 数仓实战01:数仓分层

    1.为什么分层 1.1 数仓分层: 1.2 为什么分层 2.数据集市和数据仓库概念 3.数仓命名规范 3.1 表命...

  • 数仓实战02:数仓理论

    1.范式理论 1. 范式概念1)定义范式可以理解为设计一张数据表的表结构,符合的标准级别。 规范和要求2)优点关系...

  • 数仓概念-hive 数仓简介

    什么是数仓? 数据仓库 datawarehouse DW(DWH) 是一个 向分析的集成化的数据分析平台,分析结果...

网友评论

      本文标题:数仓设计标准

      本文链接:https://www.haomeiwen.com/subject/tifjuftx.html