美文网首页IT技术大数据玩转大数据
Hive安装配置指南（含Hive Metastore三种方式详解

Hive安装配置指南（含Hive Metastore三种方式详解

作者: Jeffbond | 来源:发表于2016-08-31 17:43 被阅读7622次

    本文介绍Hive安装配置的整个过程，包括MySQL、Hive及Metastore的安装配置，并分析了Metastore三种配置方式的区别。网上有很多介绍Hive Metastore三种配置方式的文章，但是理解都不对，给读者造成了很多误导。本人详细阅读Apache和CDH官方文档中关于Hive Metastore的部分，并经过实践，终于填好各种坑，安装配置成功，遂记录下本文，供大家参考。

    1. 相关概念

    Hive Metastore有三种配置方式，分别是：

    1. Embedded Metastore Database (Derby) 内嵌模式
    2. Local Metastore Server 本地元存储
    3. Remote Metastore Server 远程元存储

    1.1 Metadata、Metastore作用

    • metadata即元数据。元数据包含用Hive创建的database、tabel等的元信息。
      元数据存储在关系型数据库中。如Derby、MySQL等。

    • Metastore的作用是：客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。

    1.2 三种配置方式区别

    • 内嵌模式使用的是内嵌的Derby数据库来存储元数据，也不需要额外起Metastore服务。这个是默认的，配置简单，但是一次只能一个客户端连接，适用于用来实验，不适用于生产环境。

    • 本地元存储和远程元存储都采用外部数据库来存储元数据，目前支持的数据库有：MySQL、Postgres、Oracle、MS SQL Server.在这里我们使用MySQL。

    • 本地元存储和远程元存储的区别是：本地元存储不需要单独起metastore服务，用的是跟hive在同一个进程里的metastore服务。远程元存储需要单独起metastore服务，然后每个客户端都在配置文件里配置连接到该metastore服务。远程元存储的metastore服务和hive运行在不同的进程里。

    在生产环境中，建议用远程元存储来配置Hive Metastore。

    2. 集群规划

    本教程Hadoop相关软件全部基于CDH5.5.1，用yum安装，系统环境如下：

    • 操作系统：CentOS 7.2
    • Hadoop 2.6.0
    • Hive1.1.0
    • Spark1.5.0
    • MySQL 5.6
    • JDK 1.8
    • Maven 3.3.3
    • Scala 2.10

    各节点规划如下：

    
192.168.117.51     Goblin01           nn1  jn1  rm1  worker  master  hive  metastore  mysql
192.168.117.52     Goblin02    zk2    nn2  jn2  rm2  worker          hive  metastore
192.168.117.53     Goblin03    zk3    dn1  jn3       worker          hive
192.168.117.54     Goblin04    zk4    dn2            worker          hive

    说明：Goblin01~04是每台机器的hostname，zk代表zookeeper，nn代表hadoop的namenode，dn代表datanode，jn代表journalnode，rm代表resourcemanager，worker代表Spark的slaves，master代表Spark的master

    如果不需要Hive on Spark，只需要Hive on MR，则不需要安装Spark、Maven和Scala。

    我们把metastore服务和MySQL都装在51上（装在哪一台都可以），51-54都安装Hive，这样多个客户端可以同时执行Hive命令。

    在执行以下步骤之前，请确保已经安装了Hadoop集群

    3. 安装MySQL

    • 下载mysql的repo源
    
$ wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
    • 安装mysql-community-release-el7-5.noarch.rpm包
    
$ sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm

    安装这个包后，会获得两个mysql的yum repo源：/etc/yum.repos.d/mysql-community.repo，/etc/yum.repos.d/mysql-community-source.repo。

    • 安装mysql
    
$ sudo yum install mysql-server

    4. 配置MySQL和metastore

    • metastore

    安装metastore

    yum install hive-metastore

    启动metastore服务

    service hive-metastore start
    • MySQL

    Step 1: Install and start MySQL if you have not
    already done so

    
$ sudo yum install mysql-server
$ sudo service mysqld start

    Step 2: Configure the MySQL Service and Connector

    因为使用MySQL作为存储元数据的数据库，所以需要把连接MySQL的jar包放入或链接到$HIVE_HOME/lib目录下。

    
$ sudo yum install mysql-connector-java
$ ln -s /usr/share/java/mysql-connector-java.jar /usr/lib/hive/lib/mysql-connector-java.jar

    To set the MySQL root password:

    
$ sudo /usr/bin/mysql_secure_installation
[...]
Enter current password for root (enter for none):
OK, successfully used password, moving on...
[...]
Set root password? [Y/n] y
New password:
Re-enter new password:
Remove anonymous users? [Y/n] Y
[...]
Disallow root login remotely? [Y/n] N
[...]
Remove test database and access to it [Y/n] Y
[...]
Reload privilege tables now? [Y/n] Y
All done!

    To make sure the MySQL server starts at boot:

    
$ sudo /sbin/chkconfig mysqld on
$ sudo /sbin/chkconfig --list mysqld
mysqld          0:off   1:off   2:on    3:on    4:on    5:on    6:off

    Step 3. Create the Database and User

    
$ mysql -u root -p
Enter password:
mysql> CREATE DATABASE metastore;
mysql> USE metastore;
mysql> SOURCE /usr/lib/hive/scripts/metastore/upgrade/mysql/hive-schema-0.12.0.mysql.sql;

mysql> CREATE USER 'hive'@'metastorehost' IDENTIFIED BY 'mypassword';
...
mysql> REVOKE ALL PRIVILEGES, GRANT OPTION FROM 'hive'@'metastorehost';
mysql> GRANT ALL ON metastore.* TO 'hive'@'metastorehost' IDENTIFIED BY 'hive';
mysql> GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive';
mysql> FLUSH PRIVILEGES;
mysql> ALTER DATABASE metastore CHARACTER SET latin1;
mysql> quit;

    5. Hive配置

    5.1 HDFS存储位置配置

    以下创建hdfs目录并赋予权限的语句必须执行，否则接下来执行./schematool --dbType mysql --initSchema来格式化数据库的时候会出错

    
hdfs dfs -mkdir -p /usr/hive/warehouse
hdfs dfs -mkdir -p /usr/hive/tmp
hdfs dfs -mkdir -p /usr/hive/log
hdfs dfs -chmod 777 /usr/hive/warehouse
hdfs dfs -chmod 777 /usr/hive/tmp
hdfs dfs -chmod 777 /usr/hive/log

    上述语句涉及hive-site.xml hive.metastore.warehouse.dir等，表示数据在hdfs中的存储位置

    5.2 hive-env.sh (所有节点）

    
export HADOOP_HOME=/usr/lib/hadoop
export HIVE_CONF_DIR=/usr/lib/hive/conf

    5.3 hive-log4j.properties（所有节点）

    首先创建log存放的文件夹

    
mkdir /usr/lib/hive/logs

    然后配置hive-log4j.properties

    
hive.log.dir=/usr/lib/hive/logs

    5.4 服务端hive-site.xml

    服务端指的是Metastore服务所在的机器，即安装metastore的机器，这里是51和52。

    
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://Goblin01:3306/metastore?createDatabaseIfNotExist=true</value>
  <description>the URL of the MySQL database</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
</property>

<property>
 <name>hive.metastore.warehouse.dir</name>
 <value>/usr/hive/warehouse</value>
</property>

<property>
<name>hive.exec.scratchdir</name>
<value>/usr/hive/tmp</value>
</property>

<property>
<name>hive.querylog.location</name>
<value>/usr/hive/log</value>
</property>

    5.5 客户端hive-site.xml

    这里指的是53和54。

    
<property>
  <name>hive.metastore.uris</name>
  <value>thrift://Goblin01:9083,Goblin02:9083</value>
  <description>IP address (or fully-qualified domain name) and port of the metastore host</description>
</property>

<property>
 <name>hive.metastore.warehouse.dir</name>
 <value>/usr/hive/warehouse</value>
</property>

<property>
 <name>hive.exec.scratchdir</name>
 <value>/usr/hive/tmp</value>
</property>

<property>
 <name>hive.querylog.location</name>
 <value>/usr/hive/log</value>
</property>

    6. 启动Hive

    1.启动MySQL

    
$ service mysqld start

    2.格式化数据库（这步必须要做，否则无法起hive）

    
$ cd /usr/lib/hive/bin
$ ./schematool --dbType mysql --initSchema

    执行这步的时候可能会出各种各样的错，详情见后面。

    3.启动metastore服务

    
$ service hive-metastore start

    4.启动Hive CLI

    因为在4台机器上都安装了hive，并且作了相关的配置，所有四台机器均可以启动Hive CLI（Hive交互式shell）

    
$ hive

    7.报错及解决

    7.1
    运行：./schematool --dbType mysql --initSchema

    报错：Duplicate key name 'PCS_STATS_IDX'....

    解决：进入MySQL,删掉metastore数据库再重新创建metastore数据库即可

    7.2
    运行：service hive-metastore start

    报错：Caused by:...unkown column 'OWNER_TYPE' in 'field list'

    原因：未运行schematool

    解决：运行./schematool --dbType mysql --initSchema

    7.3
    运行：hive(起Hive CLI）

    报错：


    hive启动.png

    原因：服务端的metastore server没有起

    解决：启动服务端的metastore server：service hive-metastore start

    8. 参考资料

    可进入我的博客查看原文

    微信公众号:FullStackPlan

    扫一扫可以关注微信公众号哦~

    相关文章

      网友评论

      • 097330d02d14:您好，我在terminal中执行mysql -u hive -p,然后drop database metastore，报错如下：ERROR 1044 (42000): Access denied for user 'hive'@'localhost' to database 'metastore'，请问该如何解决呢？

      本文标题：Hive安装配置指南（含Hive Metastore三种方式详解

      本文链接：https://www.haomeiwen.com/subject/fdwqettx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      IT技术

      大数据

      玩转大数据

      大数据

      @IT·互联网

      Hadoop大数据

      关于我们|服务条款|联系我们|Hive安装配置指南（含Hive Metastore三种方式详解|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！