美文网首页
大数据分析系列(一):使用R连接Hive

大数据分析系列(一):使用R连接Hive

作者: 做一个专注的技术人 | 来源:发表于2017-04-07 22:28 被阅读1673次

    本文地址:http://www.jianshu.com/p/651fb104088c,转载请说明出处。  
      从事大数据方面的工作已经有一段时间了,对于Hadoop的各种组件也有了比较全面的了解,有幸也用R做过一些数据分析的项目,免不了要将R和Hadoop进行结合。
      做过数据分析的人应该对于R都比较熟悉,它的强项在于可以通过各种模型(拿来即用)对数据进行加工、建模和分析。但处理大数据不是它的强项。对于大规模数据的处理,Hadoop可以算是最佳的工具。Hadoop生态圈提供了丰富的组件可以处理数据。比如

    • HDFS提供分布式存储

    • Hive提供类似SQL的接口对数据进行处理

    • Spark可以提供全内存的数据处理

    等等。但Hadoop在数据分析和挖掘领域提供的组件还比较弱,虽然Spark提供了MLLIB组件提供算法支持,但仍然比较有限,且更不说R强大的图形绘制功能。有时候我们需要拥有大数据的处理能力,同时又想使用R语言灵活而强大的数据分析和展示能力,那么自然就会想将两者结合起来。R和Hadoop的结合一般有如下几种方式(可能不全_):

    • R直接读取HDFS的数据

    • R连接Hive使用Hadoop的数据

    • R通过SparkR使用Spark来处理Hadoop的数据

    本文主要介绍R连接Hive组件,通过SQL语句获取Hadoop上的数据。关于Hive的基础知识和使用方法这里不做过多介绍。

    R连接Hive是通过JDBC接口来进行操作。Hive组件通过一个名为HiServer2的服务来提供JDBC接口。假设启动HiServer2的机器的IP地址为192.168.1.101,端口号为10000(默认端口),那么在192.168.1.101上运行beeline工具可以测试JDBC服务是否正常。beeline是Hive组件提供的一个sql客户端,可以通过JDBC接口连接到Hive服务。用beeline测试的结果如下:

        $beeline -u jdbc:hive2://192.168.1.101:10000 -n mr
        
    

    mr为hive的用户名。如果连接成功表示Hive的JDBC服务运行正常,这是我们使用R连接Hive的前提条件。

    以上步骤完成以后,我们就可以开始使用R语言来访问Hive了。这里推荐使用RStudio工具来进行开发。下图是实际所用的R的版本。

    R语言的版本

    R语言访问关系型数据库需要下载如下包:

    • rJava:R调用Java的类所需要的包

    • DBI:R访问关系型数据库的接口

    • RJDBC:RJDBC访问数据库的包

    以上包可以通过执行如下脚本安装:

      install.package("rJava")
      install.package("DBI")
      install.package("RJDBC")
      library('rJava')
      library('DBI')
      library('RJDBC')
    

    下载所需要的R包以后,还需要将集群中Hive JDBC的驱动包拷贝出来放在R程序所在的本地。具体步骤为:

    • 在hive的安装目录lib下面一般有一个jdbc-standalone的jar,类似如下名字:
      hive-jdbc-1.2.1000.2.4.2.0-258-standalone.jar
    • 在hadoop的安装目录lib下有一个hadoop-common的jar,类似如下名字:
      hadoop-common-2.7.1.2.4.2.0-258.jar

    以上jar包的名字根据Hadoop的版本不同而不同,将以上两个jar包拷贝到R所在的系统目录下,假设目录为D:\RHive,在R中可以通过setwd函数将工作目录切换到jar包所在的目录:

      setwd("D:\\RHive")
    

    然后执行如下R脚本完成到Hive的连接:

    drv <- JDBC(“org.apache.hive.jdbc.HiveDriver”, “hive-jdbc-1.2.1000.2.4.2.0-258-standalone.jar;hadoop-common-2.7.1.2.4.2.0-258.jar”)  //加载驱动
    conn <- dbConnect(drv, “jdbc:hive2://192.168.56.102:10000”, “mr”, “”)   //建连接
    dt = dbGetQuery(conn,“select * from student limit 10”)   //测试连接
    

    上述脚本中conn为JDBC连接,dbGetQuery可以执行Hive查询,返回的结果在R中即为dataframe的数据结构。后续就可以使用R中的各种函数或者模型来对Hive中的数据进行处理了。更方便的是可以使用ggplot工具直接图形展示Hive中的数据,方便的对数据进行探索。

    相关文章

      网友评论

          本文标题:大数据分析系列(一):使用R连接Hive

          本文链接:https://www.haomeiwen.com/subject/nubhattx.html