本文地址：http://www.jianshu.com/p/651fb104088c，转载请说明出处。
从事大数据方面的工作已经有一段时间了，对于Hadoop的各种组件也有了比较全面的了解，有幸也用R做过一些数据分析的项目，免不了要将R和Hadoop进行结合。
做过数据分析的人应该对于R都比较熟悉，它的强项在于可以通过各种模型（拿来即用）对数据进行加工、建模和分析。但处理大数据不是它的强项。对于大规模数据的处理，Hadoop可以算是最佳的工具。Hadoop生态圈提供了丰富的组件可以处理数据。比如
-
HDFS提供分布式存储
-
Hive提供类似SQL的接口对数据进行处理
-
Spark可以提供全内存的数据处理
等等。但Hadoop在数据分析和挖掘领域提供的组件还比较弱，虽然Spark提供了MLLIB组件提供算法支持，但仍然比较有限，且更不说R强大的图形绘制功能。有时候我们需要拥有大数据的处理能力，同时又想使用R语言灵活而强大的数据分析和展示能力，那么自然就会想将两者结合起来。R和Hadoop的结合一般有如下几种方式（可能不全_）：
-
R直接读取HDFS的数据
-
R连接Hive使用Hadoop的数据
-
R通过SparkR使用Spark来处理Hadoop的数据
本文主要介绍Ｒ连接Hive组件，通过SQL语句获取Hadoop上的数据。关于Hive的基础知识和使用方法这里不做过多介绍。
R连接Hive是通过JDBC接口来进行操作。Hive组件通过一个名为HiServer2的服务来提供JDBC接口。假设启动HiServer2的机器的IP地址为192.168.1.101，端口号为10000（默认端口），那么在192.168.1.101上运行beeline工具可以测试JDBC服务是否正常。beeline是Hive组件提供的一个sql客户端，可以通过JDBC接口连接到Hive服务。用beeline测试的结果如下:
$beeline -u jdbc:hive2://192.168.1.101:10000 -n mr
mr为hive的用户名。如果连接成功表示Hive的JDBC服务运行正常，这是我们使用R连接Hive的前提条件。
以上步骤完成以后，我们就可以开始使用R语言来访问Hive了。这里推荐使用RStudio工具来进行开发。下图是实际所用的R的版本。
R语言的版本
R语言访问关系型数据库需要下载如下包：
-
rJava：R调用Java的类所需要的包
-
DBI：R访问关系型数据库的接口
-
RJDBC：RJDBC访问数据库的包
以上包可以通过执行如下脚本安装：
install.package("rJava")
install.package("DBI")
install.package("RJDBC")
library('rJava')
library('DBI')
library('RJDBC')
下载所需要的R包以后，还需要将集群中Hive JDBC的驱动包拷贝出来放在R程序所在的本地。具体步骤为：
- 在hive的安装目录lib下面一般有一个jdbc-standalone的jar，类似如下名字：
hive-jdbc-1.2.1000.2.4.2.0-258-standalone.jar
- 在hadoop的安装目录lib下有一个hadoop-common的jar，类似如下名字：
hadoop-common-2.7.1.2.4.2.0-258.jar
以上jar包的名字根据Hadoop的版本不同而不同，将以上两个jar包拷贝到R所在的系统目录下，假设目录为D:\RHive，在R中可以通过setwd函数将工作目录切换到jar包所在的目录：
setwd("D:\\RHive")
然后执行如下R脚本完成到Hive的连接：
drv <- JDBC(“org.apache.hive.jdbc.HiveDriver”, “hive-jdbc-1.2.1000.2.4.2.0-258-standalone.jar;hadoop-common-2.7.1.2.4.2.0-258.jar”) //加载驱动
conn <- dbConnect(drv, “jdbc:hive2://192.168.56.102:10000”, “mr”, “”) //建连接
dt = dbGetQuery(conn,“select * from student limit 10”) //测试连接
上述脚本中conn为JDBC连接，dbGetQuery可以执行Hive查询，返回的结果在R中即为dataframe的数据结构。后续就可以使用R中的各种函数或者模型来对Hive中的数据进行处理了。更方便的是可以使用ggplot工具直接图形展示Hive中的数据，方便的对数据进行探索。
网友评论