Hive 安装

前提已安装mysql和hadoop

一、下载、解压hive

apache-hive-2.3.3-bin.tar.gz

 #解压到/datamgt/ 
 tar -xzvf apache-hive-2.3.3-bin.tar.gz 
 #修改文件夹名称
 mv apache-hive-2.3.3-bin hive

环境变量配置

• 修改环境变量/etc/profile

  #Hive 配置
  export HIVE_HOME=/datamgt/hive
  export PATH=$HIVE_HOME/bin:$HIVE_HOME/conf:$PATH  
  

  使环境变量生效:
  source /etc/profile
  验证 hive --version，出现版本号即可

二、hive配置

• 从模板生成两个配置文件

  cp hive-default.xml.template hive-site.xml  
  cp hive-env.sh.template  hive-env.sh
  

• 修改hive-site.xml
  • 替换${system:Java.io.tmpdir} 为本地的文件目录，此处我用的是/datamgt/hive/tmp(目录存在，同时进行授权777)，一共四处
  • 替换${system:user.name} 为root，一共三处
  • 修改mysql配置（在文件内找到这些属性进行修改，不可直接添加）

    <!-- 在文件内找到这些属性进行修改！！ -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>njadmin</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>njadmin@123</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>mysql
        <value>jdbc:mysql://sh-pl-datamgt01.wmcloud-dev.com:3306/hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>    
       <name>hive.metastore.schema.verification</name>    
       <value>false</value>  
    </property>    
  

• 修改hive-env.xml
  主要配置hadoop目录和hive目录

  # Set HADOOP_HOME to point to a specific hadoop install directory
  export HADOOP_HOME=/datamgt/hadoop
  
  # Hive Configuration Directory can be controlled by:
  export HIVE_CONF_DIR=/datamgt/hive/conf
  
  # Folder containing extra libraries required for hive compilation/execution can be controlled by:
  export HIVE_AUX_JARS_PATH=/datamgt/hive/lib
  

三、其他配置

• 在hdfs系统内新建/user/hive/warehouse、/tmp/hive/目录（可到hive-sit.xml内查找该目录）

  $HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse  
  $HADOOP_HOME/bin/hadoop fs -mkdir -p /tmp/hive/  
  hadoop fs -chmod 777 /user/hive/warehouse  
  hadoop fs -chmod 777 /tmp/hive  
  #验证目录是否成功建立
  hadoop fs -ls / 
  

• mysql新建hive库
• 初始化mysql的hive库

  #进入/hive/bin目录下执行：
  schematool   -initSchema  -dbType  mysql 
  

四、启动测试

#进入/hive/bin目录下执行，进入hive shell
./hive
# 创建hive测试库1
create database  hive_test1;

查看hdfs下成功建立文件：

image.png

查看mysql内hive库dbs表内新增一行记录

image.png