美文网首页
数仓开发流程

数仓开发流程

作者: cclucc | 来源:发表于2019-11-15 19:46 被阅读0次

数仓开发

  1. 确定主题
  2. 选择平台软件,譬如hdfs/hbase/hive,以满足不同需求
  3. 梳理数据仓库的逻辑模型,譬如,主题之间的关系,把数据梳理归类到对应的业务模型-》概念模型-》逻辑模型
  4. 将逻辑模型转化为数据仓库中的物理模型
  5. 优化数据仓库,主要合理合并不同的数据表,避免过多的动态汇总。
  6. etl
  7. 开发bi
  8. 数仓管理,包括数据库管理及元数据管理。安全性,高可用,备份,数据过期
元数据
元数据是什么?
  1. 源数据的定义,结构,位置,类型
  2. 数据转化规则
  3. 源数据到目标数据仓库的映射关系
  4. 目标数据仓库模型???
  5. 报表描述
  6. bi、函数描述

相关文章

  • 数仓开发流程

    数仓开发 确定主题 选择平台软件,譬如hdfs/hbase/hive,以满足不同需求 梳理数据仓库的逻辑模型,譬如...

  • 数仓构建流程

    1.首先进行数据相关的调研,主要包含业务调研和需求分析,通过业务调研来把握可以实现哪些需求,哪些需求目前业务方面的...

  • 数据仓库开发规范

    00背景 规范约束是数仓建设的全流程,以及后续的迭代和运维的参照。事实上,数仓规范文档,应该随着架构设计文档,在数...

  • 数仓开发需要了解的BI数据分析方法

    数仓开发经常需要与数据表打交道,那么数仓表开发完成之后就万事大吉了吗?显然不是,还需要思考一下如何分析数据以及如何...

  • 【知识】可实操使用的数仓建设规范指南

    目录: 一、数据模型架构原则数仓分层原则主题域划分原则数据模型设计原则 二、数仓公共开发规范层次调用规范数据类型规...

  • 数仓公共开发规范

    1)层次调用规范 数据流向 稳定业务 ODS -> DWD -> DWS -> APP 稳定业务或者探索性业务 O...

  • 数仓各层的开发规范

    ODS层设计规范 同步规范 一个源表只允许被同步一次 全量初始化 和 增量的同步处理逻辑要清晰 以统计如期和时间进...

  • python读取excel生成HiveDDL

    需求说明: 数仓建模过程中,一般会在excel中先将数仓各层的表和字段都梳理好,然后再建表和开发。该程序可以方便的...

  • 大数据入门(一)—— 数据仓库(数仓)基本概念

    前言: 最近做需求的时候,涉及到了数仓相关的知识。简单介绍下数仓的一些基本概念。以及,了解下大数据开发的一些基本流...

  • 数仓与数仓建模

    一、数据仓库 **英文名称为Data Warehouse,可简写为[DW]或DWH。是为企业[https://ba...

网友评论

      本文标题:数仓开发流程

      本文链接:https://www.haomeiwen.com/subject/epskuctx.html