Hive3整合Hadoop3的安装配置

前言

安装hive之前必须先安装hadoop并启动hdfs和yarn，我这边hadoop安装版本是3.2.2，

 $ hadoop version
Hadoop 3.2.2
Source code repository Unknown -r 7a3bc90b05f257c8ace2f76d74264906f0f7a932
Compiled by hexiaoqiao on 2021-01-03T09:26Z
Compiled with protoc 2.5.0
From source with checksum 5a8f564f46624254b27f6a33126ff4
This command was run using /opt/programs/hadoop-3.2.2/share/hadoop/common/hadoop-common-3.2.2.jar

 $ jps
28833 DataNode
29410 ResourceManager
26292 RunJar
29110 SecondaryNameNode
28619 NameNode
27838 Jps
29615 NodeManager

安装hive3

• 一.下载&解压
  下载地址，下载安装文件之后解押到自己机器上合适的目录即可。

• 二. 配置hive

1：配置环境变量
配置HIVE_HOME环境变量，然后将HIVE_HOME下的bin目录加入到PATH路径中

export HIVE_HOME=/opt/programs/apache-hive-3.1.2-bin
export PATH=$PATH:$HIVE_HOME/bin 

cp hive-env.sh.template hive-env.sh

然后找到HADOOP_HOME变量，将其修改为自己的HADOOP安装目录。

2：配置日志
只需要将conf目录中的日志配置模板复制一份修改名称为 hive-log4j2.properties 即可

cp hive-log4j2.properties.template hive-log4j2.properties

3：配置元数据存储
创建hive_site.xml文件，增加mysql的连接地址和用户名密码，然后把mysql的驱动下载到 HIVE_HOME/lib目录下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!--JDBC元数据仓库连接字符串-->
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://hadoop000:3306/metastore_db?createDatabaseIfNotExist=true&amp;useSSL=false</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  <!--JDBC元数据仓库驱动类名-->
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <!--元数据仓库用户名-->
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>Username to use against metastore database</description>
  </property>
   <!--元数据仓库密码-->
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
    <description>password to use against metastore database</description>
  </property>
</configuration>

 $ cd /opt/programs/apache-hive-3.1.2-bin/lib &  ls | grep mysql-connector
[1] 31665
[1]  + 31665 done       cd /opt/programs/apache-hive-3.1.2-bin/lib
mysql-connector-java-5.1.49.jar

4. 在hadoop中创建数据仓库目录

hadoop fs -mkdir -p /user/hive/warehouse

hadoop fs -chmod g+w /user/hive/warehouse

5. 执行数据库初始化命令始化数据库

schematool -dbType mysql -initSchema

改名了执行成功之后，数据库中就会出现一堆表，用于存储元数据的。

image.png

• 3. 验证hive安装 结果

hive> show databases;
OK
default
Time taken: 0.657 seconds, Fetched: 1 row(s)
hive>

启动hive，执行show databases;命令出现数据，安装成功