美文网首页
数据仓库结构

数据仓库结构

作者: 文字抒意 | 来源:发表于2019-12-26 17:06 被阅读0次

名词解释

ETL: Extract-Transform-Load ,从字面上页可以理解出为三个阶段,数据抽取(Extract),数据转化(Transform),数据加载(Load )

(1)Extract:数据抽取从数据源读取数据

(2)Transform:数据转换就是原始数据转换成期望的格式和维度。也即数据清洗

(3)Load: 数据加载就是把经过第二步处理后的数据,存放到数据仓库

三层架构

ODS层:(Operational Data Store) 操作性数据,这一层存储的是最原始的数据,收集收集上来了后,不会改变数据机构,直接存储在这一层。该层数据周期一般比较短,ODS的数据最终流入DW层

DW层: (Data Warehouse)数据仓库,是数据的归宿。对ODS层的数据,进行相关格式处理后,形成结构化的数据,存储在这一层。这里保持这所有的从ODS到来的数据,并长期保存,而且这些数据不会被修改

DM层:(Data Mart) 数据集市,为了特定业务而清洗出的结果数据,比如报表,就是从这一层拿数据

相关文章

  • 数据仓库环境

    数据仓库是体系结构环境的核心,是决策支持系统处理的基础。数据仓库的建设中核心步骤是首先要对数据仓库的结构进行了解、...

  • 51cto赵强HADOOP学习(十)

    什么是Hive?Hive的体系结构 数据仓库的基本概念 数据仓库(DataWarehouse,DW),是一个面向主...

  • 数据仓库结构

    名词解释 ETL: Extract-Transform-Load ,从字面上页可以理解出为三个阶段,数据抽取(Ex...

  • 数据仓库Inmon和Kimball架构

    对于数据仓库体系结构的最佳问题,始终存在许多不同的看法,甚至有人把Inmon和Kimball之争称之为数据仓库界的...

  • 数据仓库结构整理

  • Hive简介

    简述 数据仓库 Hive的体现结构 (支持mysql derby oracle) Hive 的安装 Hive的管理...

  • 【知识】数仓的技术框架和意义

    一、数仓的意义 为什么要有数据仓库说起数据仓库存在的意义就必须得说企业面临的数据问题。 结构复杂 数据脏乱 理解困...

  • 原创|数据仓库系统|框架结构

    一、系统结构 流程:源数据层—>数据加工层—>数据仓库层—>数据应用层—>数据访问层左侧:结构化数据(Mysql)...

  • 数据仓库架构设计的概念

    1、数据仓库所处环节 在一个成体系、结构化的数据应用场景下,数据和处理有四个层次: 操作层、数据仓库层、部门/数据...

  • ODS、DW、DM的区别

    ODS:操作性数据仓库,最早的数据仓库模型。特点是数据模型采取了贴源设计,业务系统的数据结构是怎样的,ODS数据库...

网友评论

      本文标题:数据仓库结构

      本文链接:https://www.haomeiwen.com/subject/olrloctx.html