hive 教程

1.下载安装hive

https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.1/
解压
tar -zxvf apache-hive-3.1.1-bin.tar.gz

2.启动 hadoop daemon 服务

因为 hive 依赖于 hdfs，所以需要启动 hadoop 服务

$HADOOP_HOME/sbin/start-all.sh

3.配置 hive 并使用 mysql 存储 metastore 信息

配置相关环境变量

vim /etc/profile
export HIVE_HOME=/home/hadoop/apache-hive-3.1.1-bin
export PATH=$HIVE_HOME/bin:$PATH

配置mysql:

cd $HIVE_HOME/scripts/metastore/upgrade/mysql  # 进入 sql 脚本目录，便于后面执行脚本
service mysqld start
mysql -u root -p # root 登陆 mysql 服务器

>create 'hive'@'localhost' identified by 'password';  # 创建 hive 用户
>create database hive;  # 创建 metastore 库
>grant all on hive.* to 'hive'@'localhost';  # 赋予相关库权限
>flush privileges;  #  令权限生效
>source hive-schema-3.1.0.mysql.sql # 初始化 meta_store 相关表结构

配置 hive:
这里用 mysql 作为 hive metastore 因此需要下载 jdbc 连接库，以 centos7 为例，下载 jdbc jar

wget https://dev.mysql.com/downloads/file/?id=485761  # 下载页面
yum install mysql-connector-java-8.0.16-1.el7.noarch.rpm # 安装 jdbc
ln -s /usr/share/java/mysql-connector-java.jar $HIVE_HOME/lib/mysql-connector-java.jar  # 将组件 软连接到 相关库

vim $HIVE_HOME/conf/hive-site.xml

<configuration>
       <property>
               <name>javax.jdo.option.ConnectionURL</name>
               <value>jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true</value>
               <description>metadata is stored in a MySQL server</description>
       </property>
       <property>
               <name>javax.jdo.option.ConnectionDriverName</name>
               <value>com.mysql.jdbc.Driver</value>
               <description>MySQL JDBC driver class</description>
       </property>
       <property>
               <name>javax.jdo.option.ConnectionUserName</name>
               <value>hive</value>
               <description>user name for connecting to mysql server</description>
       </property>
       <property>
               <name>javax.jdo.option.ConnectionPassword</name>
               <value>$hive_password</value>
               <description>password for connecting to mysql server</description>
       </property>
       <property>
               <name>datanucleus.autoCreateSchema</name>
               <value>true</value>
       </property>
       <property>
               <name>datanucleus.fixedDatastore</name>
               <value>true</value>
       </property>
</configuration>

上面是配置 mysql 信息，主要是三个，db_name, account, password 根据自己的情况修改。

启动hive，创建一张外部表：

hdfs dfs -mkdir -p /dbtaobao/dataset/user_log  # 创建表目录
hdfs dfs -put ~/tmp.log /dbtaobao/dataset/user_log  # 将 csv 分件作为 hive 外部数据源

[hadoop@hadoop1 mysql]$ head -n 10 ~/tmp.log
328862,323294,833,2882,2661,08,29,0,0,1,内蒙古
328862,844400,1271,2882,2661,08,29,0,1,1,山西
328862,575153,1271,2882,2661,08,29,0,2,1,山西
328862,996875,1271,2882,2661,08,29,0,1,1,内蒙古
328862,1086186,1271,1253,1049,08,29,0,0,2,浙江
328862,623866,1271,2882,2661,08,29,0,0,2,黑龙江
328862,542871,1467,2882,2661,08,29,0,5,2,四川
328862,536347,1095,883,1647,08,29,0,7,1,吉林
328862,364513,1271,2882,2661,08,29,0,1,2,贵州
328862,575153,1271,2882,2661,08,29,0,0,0,陕西

创建一张 hive 表
create external table dbtaobao.user_log(user_id INT,item_id INT,cat_id INT,merchant_id INT,brand_id INT,month STRING,day STRING,action INT,age_range INT,gender INT,province STRING) comment "first test table" row format delimited fields terminated by ',' stored as textFile location '/dbtaobao/dataset/user_log'; # create table ddl

上面创建 user_log 表的语句和 mysql 很想，其中特别说明下：

• row format delimited 告诉 hive csv 文件的一行对应 hive 表一行
• terminated by ',' 行内字段分割符
• STORED AS TEXTFILE 存储为文本格式, 另一种格式为 Sequence Files
• location 指定 hdfs 中的存储位置