美文网首页大数据开发
大数据概念解析之数据仓库简介

大数据概念解析之数据仓库简介

作者: 成都加米谷大数据 | 来源:发表于2020-10-28 15:06 被阅读0次

在大数据系统平台当中,数据存储、数据库、数据仓库是非常重要的概念,共同支持大数据存储的实际需求。在大数据处理当中,大数据存储这个环节,数据仓库技术起到重要的作用。今天我们来对数据仓库做一个简单的介绍。

什么是数据仓库?

数据仓库,有一个被广泛接受的定义:数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support)。

具体来说,数据仓库就是一个数据集合,它通常具备以下特性:

1、数据仓库是面向主题构建的,每个主题就是一个可直接用于分析的主体;

2、数据仓库的数据都是集成的,它的数据来源很丰富,为了分析方便,对多种数据做了集成;

3、数据仓库的数据是相对稳定的,不会出现短时间内频繁更新数据仓库中数据的情况;

4、数据仓库的数据都是已经发生的历史事实,且保留时间较长,因此如果拉长时间线,是可以看到数据的历史变化情况的;

5、数据仓库的目标就是支撑分析工作,用于管理决策,使得企业获得更好的发展。

在企业的实际业务场景当中,数据仓库的核心应用场景就是数据分析。数据仓库就是面向分析构建的,数据仓库的存在就是为了更加高效方便地支撑数据分析。

数据仓库的优势是什么?

1、完全面向分析构建。

数据仓库的目标就是为了更高效方便地做数据分析,因此数据仓库整个数据的组织结构也是完全根据分析需要设计的。它是由多个面向特定方向的分析主题组成的,这样可以使得分析任务变得简单,数据更容易获取,最大化地发挥数据的效用。

2、可以处理大数据量场景。

数据仓库不需要太在意响应性能,因为它通常是用来供分析使用的,不会直接用于与用户交互的场景。因此,可以存储大量的历史事实数据,完成跨度较大的历史趋势变化的分析。

3、集成多种数据。

数据仓库中的数据,是将企业中分散的、不统一的数据,经过ETL集成到一起。这样,可以提升数据的丰富性,多种数据的融合,能够连接出新的可能性,发挥出更大的作用,分析出单个数据集无法得出的结论。

Hadoop生态下的数据仓库Hive

进入大数据时代之后,基于Hadoop基础架构,Hive作为分布式数据仓库被大家熟知。

Hive构建于Apache Hadoop之上,满足企业实际场景下的数据需求:

1、通过SQL轻松访问数据的工具,从而实现数据仓库任务,如提取/转换/加载(ETL),报告和数据分析;

2、访问直接存储在HadoopHDFS或其他数据存储系统(如Apache HBase)中的文件;

3、通过Apache Tez,Apache Spark或MapReduce执行查询;

4、通过Hive LLAP,Apache YARN和Apache Slider进行亚秒级查询检索。

今天的大数据概念解析,数据仓库入门,以上就为大家做了简单的介绍了。数据仓库作为支持大数据分析处理的重要一环,也是大数据系统架构当中的重要组成部分,从基础入门到逐步深入,需要不断加深理解和掌握。

相关文章

  • 大数据概念解析之数据仓库简介

    在大数据系统平台当中,数据存储、数据库、数据仓库是非常重要的概念,共同支持大数据存储的实际需求。在大数据处理当中,...

  • 数仓建模 - 维度 vs 关系

    数据仓库模型建设 模型概念 维度建模 关系建模 建模实现对比 模型选择 Data Vault 简介 数据仓库模型建...

  • 2022-11-15

    比尔·恩门的简介 比尔·恩门(Bill Inmon),被称为数据仓库之父,最早的数据仓库概念提出者,在数据库技术管...

  • 数据仓库之数据分析

    数据仓库之数据分析 一、课前准备 二、课堂主题 本课程主要为大家揭秘数据仓库的基本概念,以及数据仓库的模型构建,并...

  • 大数据经典学习路线(及供参考)之 二

    2.1 数据仓库增强 2.1.1 数据仓库及数据模型入门 什么是数据仓库、数据仓库的意义、数据仓库核心概念、数据仓...

  • 数据仓库建模方法论Kimball与Inmon详解

    「分享数据大咖实践经验 网罗职场大佬成长秘籍」 一、数据仓库的相关概念 1.什么是数据仓库 数据仓库一种面向分析的...

  • 数据仓库

    数据仓库简介 一:什么是数据仓库 数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库...

  • 简述:数据中台、数据仓库、数据湖

    概述: 简述数据仓库、数据湖、数据中台的相关概念。 一、数据仓库: 1、定义: 数据仓库之父 W.H.Inmon ...

  • 数据仓库理论

    数据仓库理论 一、数据仓库简介 1.1、 数据仓库 数据仓库为一个面向主题的、集成的、随时间变化的、非易失的数据集...

  • 数仓基础概念

    数据仓库 什么是数据仓库? 数据仓库,英文名称为Data Warehouse,关于数据仓库概念的标准定义业内认可度...

网友评论

    本文标题:大数据概念解析之数据仓库简介

    本文链接:https://www.haomeiwen.com/subject/plzqvktx.html