hive环境部署

Hive 就是可以不用写MapReduceJava代码,而是写Sql语句完成MapReduce 所能完成的功能;Hive Sql语句经过Hive中的解析器(可以理解为jvm),解析,底层还是会转换成MapReduce任务,这也是为什么hive不能实现实时查询的原因

Hive是数据仓库:虽然都是存数据的,但跟数据库是不一样的;

        数据仓库:存的是历史数据,是为了后面分析用的;

        数据库:存的是实时的需要满足查询使用的数据;

Hive的架构图:

        hive中的数据有两种,一种是元数据信息,例如表名,字段名,存在关系型数据库中;第二种是Hive真正操作的表中的数据,存在hdfs中;

        架构遵从主从架构模型,客户端有三种方式,第一种CLI,hive命令行;第二种:JDBC,通过java代码的方式操作Hive;第三种:webUI的方式;

        客户端的命令,首先发送到元数据服务器,元数据服务器映射出数据在hdfs存放位置,通过Driver把HIve命令解析为MRjob完成;

hive架构图

Hive搭建

1.单用户模式

hive客户端和metastore客户端在一台节点上;另一台节点是MySQL服务器节点;

hive-site.xml配置如下:

注意不要忘记把MySQL连接的jar包放到hive的lib目录下;

启动hive客户端直接输入hive 就行;

2.多用户模式

    元数据服务节点跟hive客户端节点分离;

metastore服务节点hive-site.xml配置

hive客户端hive-site.xml配置