Hive的安装和使用

一、hive安装及配置

1.解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面

[honey@hadoop102 software]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/

2.修改apache-hive-1.2.1-bin.tar.gz的名称为hive

[honey@hadoop102 module]$ mv apache-hive-1.2.1-bin/ hive

3.修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh

[honey@hadoop102 conf]$ mv hive-env.sh.template hive-env.sh

4.配置hive-env.sh文件

a）配置HADOOP_HOME路径
export HADOOP_HOME=/opt/module/hadoop-2.7.2
b）配置HIVE_CONF_DIR路径
export HIVE_CONF_DIR=/opt/module/hive/conf

二、hadoop集群配置

1.必须启动hdfs和yarn

[honey@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
[honey@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

2.在HDFS上创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写

[honey@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -mkdir /tmp
[honey@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -mkdir -p /user/hive/warehouse

[honey@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -chmod g+w /tmp
[honey@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -chmod g+w /user/hive/warehouse

三、hive基本操作

• 启动hive

    [honey@hadoop102 hive]$ bin/hive

• 查看数据库

    hive>show databases;

• 打开默认数据库

    hive>use default;

• 显示default数据库中的表

    hive>show tables;

• 创建一张表

    hive> create table student(id int, name string) ;

• 显示数据库中有几张表

    hive>show tables;

• 查看表的结构

    hive>desc student;

• 向表中插入数据

     hive> insert into student values(1000,"ss");

• 加载/opt/module/datas/student.txt 文件到student数据库表中

hive> load data local inpath '/opt/module/datas/student.txt' into table student;

• 查询表中数据

    hive> select * from student;

• 退出hive

    hive> quit;

四、Hive元数据配置到MySql

1.驱动拷贝

mysql-connector-java各版本下载：http://mvnrepository.com/artifact/mysql/mysql-connector-java
拷贝mysql驱动文件mysql-connector-java-5.1.27-bin.jar目录下的mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/

2.配置Metastore到MySql

1）在/opt/module/hive/conf目录下创建一个hive-site.xml

[root@hadoop102 conf]# touch hive-site.xml
[root@hadoop102 conf]# vi hive-site.xml

在hive-site.xml文件中输入任意字符后保存（保证编码）

2）从hive-default.xml.template拷贝信息到hive-site.xml文件

3）根据官方文档配置参数

https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://hadoop102:3306/metastore?createDatabaseIfNotExist=true</value>
      <description>JDBC connect string for a JDBC metastore</description>
    </property>

    <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>com.mysql.jdbc.Driver</value>
      <description>Driver class name for a JDBC metastore</description>
    </property>

    <property>
      <name>javax.jdo.option.ConnectionUserName</name>
      <value>root</value>
      <description>username to use against metastore database</description>
    </property>

    <property>
      <name>javax.jdo.option.ConnectionPassword</name>
      <value>000000</value>
      <description>password to use against metastore database</description>
    </property>
</configuration>

4）配置完毕后，如果启动hive异常，可以重新启动虚拟机。（重启后，别忘了启动hadoop集群）

五、Hive常用交互命令

1）“-e”不进入hive的交互窗口执行sql语句

[honey@hadoop102 hive]$ bin/hive -e "select id from student;"

2）“-f”执行脚本中sql语句

[honey@hadoop102 hive]$ bin/hive -f /opt/module/datas/hivef.sql

3）执行文件中的sql语句并将结果写入文件中

[honey@hadoop102 hive]$ bin/hive -f /opt/module/datas/hivef.sql  > /opt/module/datas/hive_result.txt

4）在hive cli命令窗口中如何查看hdfs文件系统

    hive(default)>dfs -ls /;

5）在hive cli命令窗口中如何查看hdfs本地系统

hive(default)>!ls /opt/module/datas;

6）查看在hive中输入的所有历史命令
进入到当前用户的根目录/root或/home/honey，查看. hivehistory文件；

六、遇到的问题

• 再打开一个客户端窗口启动hive，会产生java.sql.SQLException异常。
  原因是，Metastore默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore;