美文网首页
大数据分析(四):使用R读取关系型数据库数据

大数据分析(四):使用R读取关系型数据库数据

作者: 做一个专注的技术人 | 来源:发表于2017-05-15 15:47 被阅读152次

关系型数据库数据

关系型数据库是目前企业数据存储最常用的方案,常用的关系型数据库系统有MySQL/Oracle/DB2等等。如果需要对这些数据库编程一般有如下两种方式:

  • 厂家的专有API

这种方式一般采用厂家提供的开发包和专有API,优点是数据库操作的性能比较高,且能使用一些厂家提供的数据库专有的功能。缺点是各个厂家接口和开发平台不统一,对于开发者学习成本较高。

  • 数据库驱动

这种方式一般通过一种数据库中间件提供操作API。中间件直接使用各个厂家提供的驱动包,对上层开发提供统一的API接口。优点是所有数据库的操作可以通过一套API解决,开发者的学习成本低,且开发简单。缺点是性能相比上一中方式要差一些,且无法使用一些数据库的专有功能。常见的数据库连接中间件有ODBC和JDBC。ODBC主要用于Windows平台的数据库连接,且大多使用C/C++语言来进行连接数据库。JDBC是专门针对Java的数据库连接工具,使用更加广泛,且跨平台。

在R环境中,我们可以通过rJava包来使用JDBC连接数据库。既然是采用JDBC连接数据库,那么所有的关系型数据库,只要能支持JDBC连接的,都可以采用下面内容中方式来进行连接,所不同的是驱动包而已。

下面就以MySQL为例,详细描述如何使用R来连接关系型数据库中的表。

假设MySQL中存在stu表,字段分别为stu_no(学号),stu_name(学生姓名),stu_age(学生年龄)

# 建表语句

CREATE TABLE STU(
   STU_NO INT PRIMARY KEY,
   STU_NAME VARCHAR(32) ,
   STU_AGE INT );


#插入数据

INSERT INTO STU(STU_NO, STU_NAME, STU_AGE) VALUES(1000001, 'zs', 23);
INSERT INTO STU(STU_NO, STU_NAME, STU_AGE) VALUES(1000002, 'ls', 20);
INSERT INTO STU(STU_NO, STU_NAME, STU_AGE) VALUES(1000003, 'ww', 21);
INSERT INTO STU(STU_NO, STU_NAME, STU_AGE) VALUES(1000004, 'xxs', 22);

上述脚本在MySQL中执行以后,可以通过查询语句来验证数据插入成功:

SELECT * FROM STU;
MySQL中的数据

数据准备好了以后我们就可以通过R来连接MySQL数据库了。因为是通过JDBC来进行连接,所以需要知道MySQL的连接参数:IP地址、用户名、密码、数据库名。假设测试环境中的MySQL上述参数为:

  • IP: 192.168.56.1
  • 用户名:root
  • 密码:root
  • 数据库名:test

直接在命令行下输入R进入环境:

 root@hostname# R
R环境

安装所需要的R包:

  install.package("rJava")
  install.package("DBI")
  install.package("RJDBC")
  library('rJava')
  library('DBI')
  library('RJDBC')

下载MySQL的JDBC驱动包,点我下载.

将下载的jar包保存在当前目录下,假设当前目录为/home/test/,那么MySQL的驱动包保存的完全路径为:

/home/test/mysql-connector-java-5.1.30-bin.jar

那么在R中输入如下命令加载驱动:

drv <- JDBC(“com.mysql.jdbc.Driver”, “/home/test/mysql-connector-java-5.1.30-bin.jar”)  //加载驱动

上述drv为加载以后的驱动,使用该驱动即可链接数据库:

conn <- dbConnect(drv, “jdbc:mysql://192.168.56.1:3306/test”, “root”, “root”)   //建连接

jdbc:mysql://192.168.56.1:3306/test为jdbc连接参数,格式为:jdbc:mysql://ip:3306/dbname,其中ip和dbname分别为MySQL的IP地址和数据库名称。上述语句中的conn为建立的连接参数。

然后利用建立的连接就可以进行查询了:

dt = dbGetQuery(conn,“select * from stu”)   //测试连接

dt就是查询出来的结果集,在R中自动转换成为dataframe类型。那么我们可以方便的使用head来查看其中的内容:

head(dt)

这样数据就从关系型数据库加载到R中了。

相关文章

  • 大数据分析(四):使用R读取关系型数据库数据

    关系型数据库数据 关系型数据库是目前企业数据存储最常用的方案,常用的关系型数据库系统有MySQL/Oracle/D...

  • 大数据分析系列(二):使用R读取EXCEL数据

    使用R读取外部数据 常用的外部数据有如下几种: EXCEL文档数据 CSV文档数据 关系型数据库数据 下面分别针对...

  • Centos6.4安装配置mysql

    大数据开发需要读取关系型数据库内的数据,学习过程中主要使用mysql进行学习,以下记录mysql的安装与配置过程。...

  • JDBC数据源

    Spark SQL支持使用JDBC从关系型数据库(比如MySQL)中读取数据。读取的数据,依然由DataFrame...

  • AWS 数据库

    数据库概念 关系型数据库 关系数据库提供了一个通用接口,使用户可以使用使用 编写的命令或查询从数据库读取和写入数据...

  • 数据分析-pandas从数据库读取数据

    数据分析-pandas从数据库读取数据 使用pandas读取数据到DataFrame,对于只是数据分析来说,重点是...

  • 通俗理解大数据及其应用价值

    大数据概述 在大数据这个概念兴起之前,信息系统存储数据的方法主要是我们熟知的关系型数据库,关系型数据库,关系型模型...

  • Node.js中MySQL的使用

    Node.js的MySQL数据库的使用 下载地址 数据库的分类 关系型数据库非关系型数据库 关系型数据库组成 数据...

  • Hbase介绍

    数据库类型 RDBMS:关系型数据库 MySQL NoSQL :Not only sql 解决大数据相关问题的数据...

  • 数据库入门之3张表对比关系型与非关系型数据库

    数据库入门之3张表对比关系型与非关系型数据库 本期使用3张表将关系型与非关系型数据库进行比对,让大家了解主流数据库...

网友评论

      本文标题:大数据分析(四):使用R读取关系型数据库数据

      本文链接:https://www.haomeiwen.com/subject/umehxxtx.html