美文网首页
7.HADOOP组件HIVE

7.HADOOP组件HIVE

作者: 经纶先生 | 来源:发表于2017-08-31 10:53 被阅读0次

我们知道如果对HDFS数据进行分析,需要写map函数和reduce函数,但是不是每个人都会java,所以hive的出现就是为了解决这个问题的

Hive的设计目的是让精通SQL技能(但java编程基础很弱)的分析师能够对facebook存放在HDFS上中的大规模数据进行查询。
Hive把SQL查询转换为一系列在Hadoop集群上的运行的mapreduce作业。
Hive把数据组织为表,通过这种方式为存储在HDFS的数据赋予结构
这种SQL叫做HQL,hive的设计在很大程度上深受mysql的影响,因此如果你熟悉mysql,就会感觉hive很亲切
关系数据库都是为实时查询的业务进行设计的,而hive则是为海量数据做数据挖掘设计的,实时性很差;实时性的区别导致hive的应用场景和关系数据库有很大的不同;

CDH版HADOOP安装过程中HIVE组件截图 HIVE组件

HIVE组件说明:

  • metastore: 元数据服务组件,存储HIVE的元数据,hive的元数据需要存储在关系型数据库里,hive支持的关系型数据库有 derby/mysql 等,元数据对hive十分重要,因此hive 支持把 metastore database 独立出来,安装到远程服务器群,并解耦hive与 metastore服务,保证了hive的壮健性,相对于独立的metastore,mysql 是metastore database一种很受欢迎的选择。

  • HIVE SERVER(Thrift server ):
    Thrift 服务是facebook 开发的一个软件框架,用来进行可扩展且跨语言的服务开发,hive集成了该服务,让不同编程语言可以调用hive接口

其他的我认为非研发人员不必关注

安装hive的过程很简单,下载好hive版本,然后解压,配置环境变量,之后你就可以启动hive了
第一次启动hive时,我们可以通过列出hive的表来检查hive是否正常工作

[root@upid-hadoop-dn18 ~]# hive
hive> show tables ;
OK
ismassetinfo
ismproinfo
ismsecuinfo
Time taken: 1.729 seconds, Fetched: 3 row(s)
对于全新安装,这个命令会花几秒钟时间来执行,因为系统采用”lazy”懒策略,所以知道你运行命令,它才会在机器上创建一个数据库(metastore数据库)

本文章只是简单的介绍hive概念及hive 主要组件,hive的具体使用方式,请见后面的搭建章节

相关文章

  • 7.HADOOP组件HIVE

    我们知道如果对HDFS数据进行分析,需要写map函数和reduce函数,但是不是每个人都会java,所以hive的...

  • hive学习(五)——原理解析

    一、Hive的服务端组件 Driver组件:该组件里包含Compiler、Optimizer、Executor,负...

  • Hive学习笔记

    本文是对Hive组件的学习的一个初步总结,包括如下章节的内容: Hive是什么 Hive安装 快速上手 Hive元...

  • hive相关知识点

    hive架构组件:meta storecli clientjdbc clientdriversql parser解...

  • 生态圈

    组件架构:hiveserver2(beeline),hive,metadb Execution Engine – ...

  • hive核心组件及流程(一)

    hive核心组件 依赖第三方组件: Meta store(mysql),hdfs,MapReducehive:Cl...

  • Impala安装json解析udf插件

    背景 Impala跟Hive一样,是常用的数据仓库组件之一。熟悉Hive的同学肯定知道,Hive官方提供了get_...

  • Hive调优策略

    Hive调优策略 Hive作为大数据领域常用的数据仓库组件,在设计和开发阶段需要注意效率。 影响Hive效率的不仅...

  • 建立hive-solr外部映射表 用于solr4版本

    hive-solr4 使用Hive读写solr4,由于市面上没有solr4这个版本的组件于是我自己根据hive-s...

  • spark开发笔记(三、Spark SQL笔记)

    基本概念 Shark、Spark SQL和Hive之间的关系:Shark借用了Hive大部分的组件,包括词法分析、...

网友评论

      本文标题:7.HADOOP组件HIVE

      本文链接:https://www.haomeiwen.com/subject/rknfjxtx.html