美文网首页R炒面机器学习
10-使用dplyr进行数据合并

10-使用dplyr进行数据合并

作者: wonphen | 来源:发表于2019-12-04 17:01 被阅读0次

对两个数据集的观测根据共同变量进行横向合并的操作就是“join”,匹配用的共同变量叫做“key”。对2个数据集的key变量匹配后没有匹配上的观测是被剔除还是用缺失值填补则取决于具体使用哪个类型的join操作,常用的join包括:
full_join:将两个数据集的所有观测都保留,缺失值用NA填补
inner_join:只保留两个数据集中都有的观测
right_join:保留第二个数据集的所有观测,第一个数据集中未能匹配的观测的对应变量值用NA填补
left_join:保留第一个数据集的所有观测,第二个数据集中未能匹配的观测的对应变量值用NA填补
semi_join:根据前一个数据集中的观测在后一个数据集是否有匹配观测来对前一个数据集的观测进行筛选,只保留有匹配的观测
anti_join:根据前一个数据集中的观测在后一个数据集是否有匹配观测来对前一个数据集的观测进行筛选,只保留没有匹配的观测

因为手工输入的数据很多时候存在人为误差,比如多输入了空格,这时候是很难看出来的。所以两个表拼接之前最好使用str_trim去除主键数据中的空格。

inner_join(x, y, by = NULL, copy = FALSE, suffix = c(".x", ".y"),
...)
left_join(x, y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...)
right_join(x, y, by = NULL, copy = FALSE, suffix = c(".x", ".y"),
...)
full_join(x, y, by = NULL, copy = FALSE, suffix = c(".x", ".y"), ...)
semi_join(x, y, by = NULL, copy = FALSE, ...)
anti_join(x, y, by = NULL, copy = FALSE, ...)

其中:

x,y是进行Join操作的两个数据集
by=指定匹配变量,如果匹配变量在两个数据集中名字不同,可以用by = c("a" = "b")指定匹配x的a变量和y的b变量;另外可以用by = c("col1","col2",...)来指定多个匹配变量
copy选项:如果x,y不是来自同一个数据源,将copy选项设为TRUE会先把y拷贝一份到x的数据源中。
suffix = c(".x", ".y"):当x,y中存在非匹配变量的同名变量时,suffix=中指定的后缀会加到结果数据集对应的变量名后面来区分同名变量。

判断是否为主键

#加载包
library(nycflights13)
library(tidyverse)

#验证是主键,对其进行count操作,然后查看是否有n>1的记录,没有就是主键
planes %>%
  count(tailnum) %>%
  filter(n > 1)

左连接

#通过left_join函数组合airlines和flights数据框
flights2 <- flights %>%
  #去掉origin和dest属性
  select(-origin, -dest) %>%
  left_join(airlines,by = "carrier")

#通过mutate函数和R的取子集操作达到同样的效果
flights3 <- flights %>%
  mutate(name = airlines$name[match(carrier, airlines$carrier)])

对连接的理解

#连接是以键来匹配的,键和值的对应关系没有改变
x <- tribble(
  ~key,~val_x,
  1,"x1",
  2,"x2",
  3,"x3",
  4,"x4"
)
y <- tribble(
  ~key,~val_y,
  1,"y1",
  2,"y2",
  4,"y3"
)
#内连接,相当于交集
x %>%
  inner_join(y,by = "key")
  #左连接,保留所有x中的观测
  left_join(x,y,by = "key")
  #右连接,保留所有y中的观测
  right_join(x,y,by = "key")
  #全连接,保留x和y中的所有观测
  full_join(x,y,by = "key")
  
#by=NULL,自然连接
flights %>%
  left_join(weather)

#使用公共变量连接
flights %>%
  left_join(planes,by = "tailnum")

#匹配x表中的a变量和y表中的b变量
flights %>%
  left_join(airports,c("dest" = "faa"))

相关文章

网友评论

    本文标题:10-使用dplyr进行数据合并

    本文链接:https://www.haomeiwen.com/subject/mnslgctx.html