美文网首页
Hive基础知识-1

Hive基础知识-1

作者: 发觉原来我只是250 | 来源:发表于2017-05-18 14:11 被阅读0次

Hive是数据仓库:

a. 面向主题的

数据仓库其实也具备数据库的一些功能,也可以按照一定的组织形式组织数据,用于数据分析

传统的应用数据库未必按照一个主题进行划分.

b. 集成的

数据来源多元化,将相对分散的数据经过系统的加工,得到统一的数据类型(消除不一致性)

c. 相对稳定的

数据仓库主要涉及的操作就是查询,数据一旦进入数据仓库之后,一般情况下,会被长期保留,不会涉及删除、修改操作,定期的会加载刷新数据.

d. 反应历史变化的

数据一般不会被删除修改,保存下来的数据信息,可以反映出历史信息

e. 用于决策管理

数据仓库构建过程

1、数据源:来源很多 业务系统数据、文件数据、其他资料

2、数据存储

ETL:

Extract(抽取数据):

针对业务数据进行抽取(正则表达式)

Transform(转换数据):

消除数据格式不一致

Load(加载数据):

将格式良好的数据添加到数据仓库中

3、数据仓库引擎

4、可视化

数据仓库与数据库的却别:

1、数据仓库是面向主题 数据库是面向事物的

2、数据库一般存储的数据是在线交易数据 数据仓库一般都是历史数据

3、数据库设计的是是要避免冗余,数据仓库有的时候需要刻意引入冗余

4、数据库为了捕获数据设计 数据仓库为数据分析而设计

相关文章

  • Hive 基础搭建教程

    需要安装Hadoop,教程:Hadoop 基础搭建教程 需要了解Hive基本概念:Hive 基础知识 1. 相关依...

  • Hive架构及搭建方式

    Hive架构及搭建方式 [TOC] 前言 本文档基于hive 3.1.2编写 hive的基础知识 基本架构 整个h...

  • Spark学习笔记九:SparkSQL

    一、SparkSQL基础知识 1.SparkSQL介绍 Hive是Shark的前身,Shark是SparkSQL的...

  • Hive基础知识-1

    Hive是数据仓库: a. 面向主题的 数据仓库其实也具备数据库的一些功能,也可以按照一定的组织形式组织数据,用于...

  • Hadoop(二十七)HIVE的高级应用之推荐系统

    一.HIVE的基础知识 Hive复合数据类型:map– 创建map:map、str_to_map– 取key、va...

  • Hive基础知识整理(1)

    参考链接:视频教程慕课网--走进Hive 一、数据仓库 数据仓库是一个面向主题的(有特定需求)、集成的(来自多个源...

  • 由sqoop导入失败发现的hive的空值问题

    先说基础知识hive中空值分两种(1)NULLhive中null实际在HDFS中默认存储为'\N',通过查询显示的...

  • Hive 学习总结

    这一周主要学习了 Hive 的一些基础知识,学习了多个 Hive 窗口函数,虽然感觉这些窗口函数没有实际的应用...

  • Hive 基础知识

    Hive的安装步骤可以参考:https://www.cnblogs.com/kinginme/p/7233315....

  • Hive基础知识

    Hive是构建在Hadoop HDFS上得一个数据仓库 数据仓库是一个面向主题的、集成的、不可更新的、随时间不变化...

网友评论

      本文标题:Hive基础知识-1

      本文链接:https://www.haomeiwen.com/subject/siesxxtx.html