本博客内容参考了厦门大学数据库实验室技术文献：http://dblab.xmu.edu.cn/post/8116/

实验准备

     首先非常感谢厦门大学林子雨老师的支持，在经过他的许可之后，我将整个实验的过程以及一些自己的想法写了出来，在这里我并没有讨论spark回头客的预测分析，这在后期spark专栏里会有。

在进行实战之前，我们要确保已经配置好了部分环境：

1、hadoop环境的安装配置

2、hive的安装配置（mysql为元数据库）：关于如何配置我在之前的博客说过

3、Sqoop的安装配置：本次实验会讲到

    我使用的是两台阿里云服务器Ubuntu14.0的系统（因为还是学生，价格很优惠），分布式部署了hadoop2.6.5，spark2.4.1（这在后期会用到）。

实验步骤一：本地数据集上传到数据仓库hive

该数据集data_format(点击保存链接：https://pan.baidu.com/s/11HOMXdGw4P6Srnm3T6wGSg提取码：4feo)是淘宝2015年双11前6个月(包含双11)的交易数据(交易数据有偏移，但是不影响实验的结果)，里面有三个文件，分别是用户行为日志文件user_log.csv 、回头客训练集train.csv 、回头客测试集test.csv，我们这里主要使用日志文件user_log.csv。

该数据集里的字段主要有：

1、user_id：买家id

2、item_id：商品id

3、cat_id：商品类别id

4、merchant_id：卖家id

5、brand_id：品牌id

6、month：交易时间：月

7、day：交易时间：日

8、action：行为，取值为0表示点击，1表示加入购物车，2表示购买，3表示关注商品

9、age_range：买家年龄分段：1表示年龄<18，2表示年龄在[18,24]，3表示年龄在[25,29]，4表示年龄在[30,34]，5表示年龄在[35,39]，6表示年龄在[40,49]，7和8表示年龄>50,0和NULL表示未知

10、gender：性别0表示女性，1表示男性，2和NULL表示未知

11、province：收获地址省份

下载完数据集之后，解压并上传到服务器

为了确保数据集有效可以取出user_log.csv的前5条数据测试：

接下来我们进行数据的预处理

1、删除文件第一行记录，这一行数据我们不需要。

2、由于交易数据太大（5000万条），我们截取前100000条数据集作为一个小数据集，写一个脚本完成上面的截取任务，脚本文件放在data目录下和user_log.csv一起

#!/bin/bash

#下面设置输入文件，把用户执行predeal.sh命令时提供的第一个参数作为输入文件名称

infile=$1

#下面设置输出文件，把用户执行predeal.sh命令时提供的第二个参数作为输出文件名称

outfile=$2

#注意！！最后的$infile > $outfile必须跟在}’这两个字符的后面

awk -F "," 'BEGIN{

      id=0;

    }

    {

        if($6==11 && $7==11){

            id=id+1;

            print $1","$2","$3","$4","$5","$6","$7","$8","$9","$10","$11

            if(id==10000){

                exit

            }

        }

    }' $infile > $outfile

进行截取

取前10条数据集测试一下：

head -10 small_user_log.csv

3、导入数据库

下面把small_user_log.csv中的数据集最终导入数据仓库hive中，为了完成这个任务我们首先把这个文件上传到分布式文件系统HDFS中，然后在hive中创建外部表完成数据的导入：

a.启动HDFS

可以选择在hadoop目录下的sbin文件下

./start-dfs.sh

或者直接选择

./start-all.sh

b.把small_user_log.csv上传到HDFS中

把本地系统中的small_user_log.csv上传到分布式文件系统HDFS中，存放在HDFS的“/dbtaobao/dataset”目录下

首先，在本地系统的根目录下创建一个新的目录dbtaobao，并在这个目录下创建一个子目录dataset

然后，把本地系统small_user_log.csv上传到分布式文件系统HDFS的“/dbtaobao/dataset”目录下，命令如下：

下面可以查看一下HDFS的small_user_log.csv的前10条记录

c、在hive上创建数据库

新开一个终端，提前启动mysql数据库，后期会用到

启动hadoop和hive，创建数据库dbtaobao

d、创建外部表

e、查询数据

上面创建外部表时已经成功把HDFS中的“/dbtaobao/dataset/user_log”目录下的small_user_log.csv数据加载到了数据仓库hive中，我们可以使用下面命令查询一下：

实验步骤二：hive数据分析

一、操作hive

使用dbtaobao数据库，显示数据库中所有表，查看user_log表的各种属性

查看表的简单结构

二、简单查询分析

1、查看日志前10个交易日志的商品品牌

2、查询前20个交易日志中购买商品时的时间和商品的种类

三、查询条数统计分析

1、用聚合函数count()计算表内有多少条数据

2、在函数内部加上distinct，查出uid不重复的数据有多少条

3、查询不重复的数据有多少条（为了排除客户刷单情况）

四、关键字条件查询分析

1、以关键字的存在区间为条件的查询

查询双11那天有多少人购买了商品

2、关键字赋予给定值为条件，对其他数据进行分析

取给定时间和给定品牌，求当天购买的此品牌商品的数量

五、根据用户行为分析

1、查询一件商品在某天的购买比例或浏览比例

根据上面语句得到购买数量和点击数量，两个相除即可得到当天该商品的购买率

2、查询双11那天，男女买家购买商品的比例

双十一女性购买商品的数量

双十一男性购买商品的数量

两者相除就得到了要求的比例

3、给定购买商品的数量范围，查询某一天在该网站的该买该数量商品的用户id

六、用户实时查询分析

不同的品牌的浏览次数

实验步骤三：将数据从hive导入到mysql中

一、准备工作：安装Sqoop（可以将数据导入mysql中）

服务器上新建文件夹sqoop，使用xftp上传到sqoop中解压缩

解压缩完成后，添加到环境变量

进入sqoop安装目录下的conf文件夹中执行以下命令复制sqoop-env-template.sh为sqoop-env.sh并在里面添加以下内容

连接数据库之前不要忘记把jar包放到sqoop安装目录下的lib文件夹中，这个jar可以在官网中下载，百度或者谷歌搜索：mysql-connection-java，选择下载的版本，我下载的是mysql-connector-java-5.1.47.zip版本

测试一下：能看到已经读取了mysql中的数据库就说明安装成功，出现warning没有关系，因为没有安装hbase和zookeeper等

二、Hive预操作

1、创建临时表inner_user_log

2、将user_log表中的数据插入到inner_user_log

执行下面命令查询上面的插入命令是否成功执行

三、使用sqoop将数据从hive导入mysql

1、登录到mysql创建数据库

2、创建表

注意：语句中的引号是反引号，不是单引号，sqoop抓数据的时候会把类型转为string类型，所以mysql设计字段的时候，设置为varchar

3、创建完表后，另开一个终端或者退出当前的mysql，进行导入操作

4、返回到刚才的mysql终端或者重新进入mysql查看user_log表中的数据，会得到类似下面的查询结果

说明从hive导入数据到mysql中，成功！