安装hive2.3.6,用Mysql做元数据存储

1.下载hive 2.3.6

http://mirror.bit.edu.cn/apache/hive/stable-2/

2.下载mysql 驱动，然后将驱动包放到hive 的lib目录

image.png image.png

3.配置环境变量

image.png

4.安装mysql

他会自动安装的，中间输入root账号密码：thinker(随意输入)

sudo apt-get install mysql-server

1.登陆mysql
mysql -u root -p

2.创建库hive
CREATE DATABASE hive;

3.创建新用户

#创建新用户，用户名为hadoop 密码为mysql  '%' 为任何IP都可以连接mysql
CREATE USER  'hadoop'@'%'  IDENTIFIED BY 'mysql';
#hive 库的所有的权限授予给hadoop用户
GRANT ALL PRIVILEGES ON  *.* TO 'hadoop'@'%' WITH GRANT OPTION; 
#刷新权限
flush privileges;

5.查询mysql用户和IP

select user,host from mysql.user;

image.png

5.修改hive配置文件 hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>hive.metastore.warehouse.dir</name>
      <!-- hive 默认库的hdfs 数据的存储路径 -->
        <value>/usr/local/hive/apache-hive-2.3.6-bin/warehouse</value>
    </property>
    <property>
       <name>javax.jdo.option.ConnectionURL</name>
       <value>jdbc:mysql://localhost:3306/hive?useSSL=false</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
       <name>javax.jdo.option.ConnectionPassword </name>
        <!-- mysql  hadoop账户的密码-->
       <value>mysql</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
       <!-- mysql 数据元的账户-->
        <value>hadoop</value>
    </property>
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
    <property> 
         <name>datanucleus.autoCreateSchema</name> 
     <value>true</value> 
    </property> 
    <property> 
      <name>datanucleus.autoCreateTables</name> 
      <value>true</value> 
    </property> 
    <property> 
      <name>datanucleus.autoCreateColumns</name> 
     <value>true</value> 
   </property>
</configuration>

6.初始化hive 元数据表

schematool -dbType mysql -initSchema

image.png

mysql 中元数据表初始化了：

image.png

hive 元数据表的解释参考如下：
https://blog.csdn.net/xjp8587/article/details/81411879

7.启动hive 服务端

hive --service metastore

8.进入hive

hive

image.png

9.测试hive

1.创建测试表

create table test_table (name string,age string) row format  delimited fields terminated by ',' stored as textfile;

hdfs 上已经有该表的文件夹

image.png

创建测试数据 test_table.txt 导入 hdfs中
小明,18
小红,20
小华,12
小杰,25

hadoop fs -put test_table.txt  '/usr/local/hive/apache-hive-2.3.6-bin/warehouse/test_table/'

查询test_table 表数据：

image.png