美文网首页
HIVE_01 Hive的基本介绍

HIVE_01 Hive的基本介绍

作者: 大白乐了 | 来源:发表于2019-08-12 15:00 被阅读0次

1.why hive?

a) 方便对文件及数据的元数据进行管理,提供统一的元数据管理方式
b) 提供简单的方式来访问大规模的数据集,使用sql语言进行数据分析

2.what hive?

hive是一个数据仓库,通过sql读写、管理大数据集,也提供命令行工具以及jdbc方式访问hive。
Hive经常被大数据企业用作企业级数据仓库。
Hive在使用过程中使用sql语句来进行数据分析,有sql语句到具体的任务执行还需要经过解释器,编译器,优化器,执行器四个部分才能完成。
2.1 解释器: 调用语法解释器和语义分析器将sql语句转换成对应的可执行的java代码或者业务代码。
2.2 编译器: 将对应的java代码转换成字节码或者jar包
2.3 优化器: 从sql语句到java代码的解析转化过程需要调用优化器,进行相关策略的优化,实现最优的查询性能

3.数据仓库和关系库的差别

数据处理分类:联机事务处理OLAP(on-line transaction processing) 和 联机分析处理OLTP(on-line Analytical Processing)。
OLAP是数据仓库的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。
OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。
3.1 数据库是对业务系统的支撑,性能要求高,响应的时间短,而数据仓库则对响应时间没有太多的要求,当然越快越好。
3.2 数据库存储的是某一个产品线或者某个 业务线的数据,数据仓库可以将多个数据源的数据经过统一的规则清洗后进行统一管理。
3.3 数据库中存储的数据可以修改,无法保存各个历史时刻的数据,数据仓库可以保存各个时间点的数据,形成 时间拉链表,可以对各个历史时刻的数据做分析。

相关文章

  • HIVE_01 Hive的基本介绍

    1.why hive? a) 方便对文件及数据的元数据进行管理,提供统一的元数据管理方式b) 提供简单的方式来访问...

  • Hive基本介绍

    Hive介绍 facebook开源 设计目的:Hive期初是为了提供给那些精通sql但是java编程能力相对较弱的...

  • 094-BigData-22Hive数据类型及操作

    上一篇:093-BigData-21Hive介绍和安装 一、Hive数据类型 3.1 基本数据类型 对于Hive的...

  • Hive技术初探

    1 概述 1.1 基本介绍 1.2 技术比较 Hive与传统数据库比较Hive与传统数据库比较 Hive与Hbas...

  • 大数据技术原理——Hive

    (1)Hive的基本介绍 **** (2)Hive与传统数据库的区别 Hive不支持数据的更新,,也不支持事务和索...

  • Hive的条件函数与日期函数全面汇总解析

    在Hive的开窗函数实战的文章中,主要介绍了Hive的分析函数的基本使用。本文是这篇文章的延续,涵盖了Hive所有...

  • Hive基本介绍及配置

    1. 什么是Hive Hive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop...

  • Hive查询HBase调用MapReduce性能优化

    折腾了很久,被领导天天督促&指点,算是有个最基本的性能优化。 1. 背景介绍: Hive使用hive-hbase-...

  • Hive | Hive 安装详解

    一、Hive 介绍 二、准备工作 三、Hive下载 四、Hive 安装 五、Hive 启动 一、Hive 介绍 H...

  • 8. Hive基础

    1. Hive基本介绍和基础: Facebook公司最早完成并开源了hive框架,可以将sql语句直接翻译成Map...

网友评论

      本文标题:HIVE_01 Hive的基本介绍

      本文链接:https://www.haomeiwen.com/subject/tkkujctx.html