数据清洗

作者: 范垂钦_92be | 来源:发表于2021-03-18 16:57 被阅读0次

一、数据的读取与导出

①. 读取数据:txt、csv和xlsx文件

· 速度最慢

options(stringsAsFactors=FALSE)        ## 防止把字符串转化成因子型变量
data <- read.table("iris.txt",sep="\t",header = T)        ## 读取txt文件
data <- read.csv("iris.csv",sep=",",header = T)       ## 读取csv文件
# install.packages("readxl");library(readxl)
data <- readxl::read_xlsx("iris.xlsx",sheet = 1)      ## 读取xlsx文件

· 中等速度

library(readr)
data <- read_tsv("iris.txt")       ## 读取txt文件
data <- read_csv("iris.csv")      ## 读取csv文件
data <- read_delim("iris.txt",delim = "\t")       ## 读取txt文件
data <- read_delim("iris.csv",delim = ",")      ## 读取csv文件

· 速度最快

library(data.table)
data <- data.table::fread("iris.txt")      ## 读取txt文件
data <- data.table::fread("iris.csv")     ## 读取csv文件

②. 数据导出:导出为txt、csv和xlsx文件

write.table(data ,"iris_new.txt",sep="\t",row.names = F)        ## 导出txt文件
write.table(data ,"iris_new.csv",sep=",",row.names = F)       ## 导出csv文件
write.csv(data ,"iris_new.csv")       ## 导出csv文件
# install.packages("openxlsx");library(openxlsx)
write.xlsx(data ,"iris_new.xlsx",sheetName="iris")      ## 导出xlsx文件

③. 环境变量的导出与读取

saveRDS(data,"iris.rds")
save(data,file="iris.Rdata")
data <- readRDS("iris.rds")

二、dplyr清洗数据

· 本文章所使用的Iris数据集(鸢尾花数据集),是机器学习任务中常用的分类实验数据集,由Fisher在1936收集整理。
· Iris一共包含150个样本,分为3类,每类50个数据,每个数据包含4个属性。
· 可通过花萼长度花萼宽度花瓣长度花瓣宽度4个特征预测鸢尾花卉属于山鸢尾(Setosa)变色鸢尾(Versicolour)还是维吉尼亚鸢尾(Virginica)中的哪一类。

> head(iris,10) # 查看数据集前10行
   Sepal.Length Sepal.Width Petal.Length Petal.Width Species
1           5.1         3.5          1.4         0.2  setosa
2           4.9         3.0          1.4         0.2  setosa
3           4.7         3.2          1.3         0.2  setosa
4           4.6         3.1          1.5         0.2  setosa
5           5.0         3.6          1.4         0.2  setosa
6           5.4         3.9          1.7         0.4  setosa
7           4.6         3.4          1.4         0.3  setosa
8           5.0         3.4          1.5         0.2  setosa
9           4.4         2.9          1.4         0.2  setosa
10          4.9         3.1          1.5         0.1  setosa
install.packages("dplyr")  # dplyr包安装

· dplyr是一个很方便的用来清洗数据的R包;
· 我们主要掌握它的6个函数,足以应付大部分的需求:filter()arrange()select()mutate()summarize()group_by()

①. filter()

· 筛选花萼长度>5,宽度>3.5且物种为山鸢尾的行

> dplyr::filter(iris,Species=="setosa",Sepal.Length>5,Sepal.Width>3.5)
   Sepal.Length Sepal.Width Petal.Length Petal.Width Species
1           5.4         3.9          1.7         0.4  setosa
2           5.4         3.7          1.5         0.2  setosa
3           5.8         4.0          1.2         0.2  setosa
4           5.7         4.4          1.5         0.4  setosa
5           5.4         3.9          1.3         0.4  setosa
6           5.7         3.8          1.7         0.3  setosa
7           5.1         3.8          1.5         0.3  setosa
8           5.1         3.7          1.5         0.4  setosa
9           5.2         4.1          1.5         0.1  setosa
10          5.5         4.2          1.4         0.2  setosa
11          5.1         3.8          1.9         0.4  setosa
12          5.1         3.8          1.6         0.2  setosa
13          5.3         3.7          1.5         0.2  setosa

· 筛选花萼长度>5且物种为山鸢尾,或花萼宽度>3.5且物种为山鸢尾的行

dplyr::filter(iris,Species=="setosa",Sepal.Length>5|Sepal.Width>3.5)
   Sepal.Length Sepal.Width Petal.Length Petal.Width Species
1           5.1         3.5          1.4         0.2  setosa
2           5.0         3.6          1.4         0.2  setosa
3           5.4         3.9          1.7         0.4  setosa
4           5.4         3.7          1.5         0.2  setosa
5           5.8         4.0          1.2         0.2  setosa
6           5.7         4.4          1.5         0.4  setosa
7           5.4         3.9          1.3         0.4  setosa
8           5.1         3.5          1.4         0.3  setosa
9           5.7         3.8          1.7         0.3  setosa
10          5.1         3.8          1.5         0.3  setosa
11          5.4         3.4          1.7         0.2  setosa
12          5.1         3.7          1.5         0.4  setosa
13          4.6         3.6          1.0         0.2  setosa
14          5.1         3.3          1.7         0.5  setosa
15          5.2         3.5          1.5         0.2  setosa
16          5.2         3.4          1.4         0.2  setosa
17          5.4         3.4          1.5         0.4  setosa
18          5.2         4.1          1.5         0.1  setosa
19          5.5         4.2          1.4         0.2  setosa
20          5.5         3.5          1.3         0.2  setosa
21          4.9         3.6          1.4         0.1  setosa
22          5.1         3.4          1.5         0.2  setosa
23          5.1         3.8          1.9         0.4  setosa
24          5.1         3.8          1.6         0.2  setosa
25          5.3         3.7          1.5         0.2  setosa

②. arrange()

· 按列排序,默认是升序。我们可以通过参数desc()来使它降序
· 我们按花瓣长度Petal.Length排序

> head(dplyr::arrange(iris,desc(Petal.Length)),5)
  Sepal.Length Sepal.Width Petal.Length Petal.Width   Species
1          7.7         2.6          6.9         2.3 virginica
2          7.7         3.8          6.7         2.2 virginica
3          7.7         2.8          6.7         2.0 virginica
4          7.6         3.0          6.6         2.1 virginica
5          7.9         3.8          6.4         2.0 virginica
> head(dplyr::arrange(iris,Petal.Length),5)
  Sepal.Length Sepal.Width Petal.Length Petal.Width Species
1          4.6         3.6          1.0         0.2  setosa
2          4.3         3.0          1.1         0.1  setosa
3          5.8         4.0          1.2         0.2  setosa
4          5.0         3.2          1.2         0.2  setosa
5          4.7         3.2          1.3         0.2  setosa

③. select()

· 选择我们需要的列,例如我们只希望保留花瓣长度Petal.Length、花瓣宽度 Petal.Width和物种Species的信息

> head(dplyr::select(iris,Petal.Length,Petal.Width,Species),5)
  Petal.Length Petal.Width Species
1          1.4         0.2  setosa
2          1.4         0.2  setosa
3          1.3         0.2  setosa
4          1.5         0.2  setosa
5          1.4         0.2  setosa

· 剔除我们不需要的列,例如我们只希望保留花瓣长度Petal.Length花瓣宽度 Petal.Width物种Species的信息,那我们可以剔除花萼长度Sepal.Length花萼宽度epal.Width

> head(dplyr::select(iris,-Sepal.Length,-Sepal.Width),5)
  Petal.Length Petal.Width Species
1          1.4         0.2  setosa
2          1.4         0.2  setosa
3          1.3         0.2  setosa
4          1.5         0.2  setosa
5          1.4         0.2  setosa

④. mutate()

· 使用mutate()可以往数据集里面添加新的列
· 我们往iris数据集里面添加两个新列,分别是花萼长宽比Sepal.prop花瓣长宽比Petal..prop

>head(dplyr::mutate(iris,Sepal.prop=Sepal.Length/Sepal.Width,
Petal.prop=Petal.Length/Petal.Width),5)

  Sepal.Length Sepal.Width Petal.Length Petal.Width Species Sepal.prop Petal.prop
1          5.1         3.5          1.4         0.2  setosa   1.457143        7.0
2          4.9         3.0          1.4         0.2  setosa   1.633333        7.0
3          4.7         3.2          1.3         0.2  setosa   1.468750        6.5
4          4.6         3.1          1.5         0.2  setosa   1.483871        7.5
5          5.0         3.6          1.4         0.2  setosa   1.388889        7.0

⑤. summarize()

· summarize()mutate()一样可以产生新变量,但summarize()不能保留原来的变量;

> head(dplyr::summarize(iris,Sepal.prop=Sepal.Length/Sepal.Width,
+                    Petal.prop=Petal.Length/Petal.Width),5)
  Sepal.prop Petal.prop
1   1.457143        7.0
2   1.633333        7.0
3   1.468750        6.5
4   1.483871        7.5
5   1.388889        7.0

· summarize()更多的适用于摘要统计,即可以把许多行压缩成一行。而mutate()无法做到这一点;

>head(dplyr::summarize(iris,Sepal.Length.mean=mean(Sepal.Length)),5)
  Sepal.Length.mean
1          5.843333
> head(dplyr::mutate(iris,Sepal.Length.mean=mean(Sepal.Length)),5)
  Sepal.Length Sepal.Width Petal.Length Petal.Width Species Sepal.Length.mean
1          5.1         3.5          1.4         0.2  setosa          5.843333
2          4.9         3.0          1.4         0.2  setosa          5.843333
3          4.7         3.2          1.3         0.2  setosa          5.843333
4          4.6         3.1          1.5         0.2  setosa          5.843333
5          5.0         3.6          1.4         0.2  setosa          5.843333

⑥. group_by()

· group_by()可以按组操作
· group_by()只有和管道符(%>% )或者summarize()结合起来,才能达到最佳的效果
· 例如,计算不同物种花萼长度的平均值

> iris %>% group_by(Species) %>% summarize(Sepal.Length.mean=mean(Sepal.Length))
# A tibble: 3 x 2
  Species    Sepal.Length.mean
* <fct>                  <dbl>
1 setosa                  5.01
2 versicolor              5.94
3 virginica               6.59

· 同样是计算不同物种花萼长度的平均值,mutate()无法将许多行压缩成一行

> iris %>% group_by(Species) %>% mutate(Sepal.Length.mean=mean(Sepal.Length))
# A tibble: 150 x 6
# Groups:   Species [3]
   Sepal.Length Sepal.Width Petal.Length Petal.Width Species Sepal.Length.mean
          <dbl>       <dbl>        <dbl>       <dbl> <fct>               <dbl>
 1          5.1         3.5          1.4         0.2 setosa               5.01
 2          4.9         3            1.4         0.2 setosa               5.01
 3          4.7         3.2          1.3         0.2 setosa               5.01
 4          4.6         3.1          1.5         0.2 setosa               5.01
 5          5           3.6          1.4         0.2 setosa               5.01
 6          5.4         3.9          1.7         0.4 setosa               5.01
 7          4.6         3.4          1.4         0.3 setosa               5.01
 8          5           3.4          1.5         0.2 setosa               5.01
 9          4.4         2.9          1.4         0.2 setosa               5.01
10          4.9         3.1          1.5         0.1 setosa               5.01
# … with 140 more rows

⑦. 总结:

· 把这6个函数都用上

iris %>% 
  select(Sepal.Length,Petal.Length,Species) %>% 
  filter(Sepal.Length>1,Petal.Length>1) %>% 
  mutate(mean.Length=(Sepal.Length+Petal.Length)/2) %>% 
  group_by(Species) %>% 
  summarise(Length=mean(mean.Length))

# A tibble: 3 x 2
  Species    Length
* <fct>       <dbl>
1 setosa       3.24
2 versicolor   5.10
3 virginica    6.07

三、表格操作

①. 表格的变换

· gather()函数可以把宽数据变成长数据

> df <- data.frame(x=c("A","B","C"),'2010'=c(1,3,4),'2011'=c(3,5,2))
> colnames(df) <- c("name","2010","2011")
> df
  name 2010 2011
1    A    1    3
2    B    3    5
3    C    4    2
> gather(df,year,value,-name)
  name year value
1    A 2010     1
2    B 2010     3
3    C 2010     4
4    A 2011     3
5    B 2011     5
6    C 2011     2
> gather(df,year,value)
  year value
1 name     A
2 name     B
3 name     C
4 2010     1
5 2010     3
6 2010     4
7 2011     3
8 2011     5
9 2011     2

· spread()函数可以把长数据变成宽数据

> df <- data.frame(x=c("A","B","C"),'2010'=c(1,3,4),'2011'=c(3,5,2))
> colnames(df) <- c("name","2010","2011")
> df <- gather(df,year,value,-name)
> df
  name year value
1    A 2010     1
2    B 2010     3
3    C 2010     4
4    A 2011     3
5    B 2011     5
6    C 2011     2
> df <- spread(df,year,value)
> df
  name 2010 2011
1    A    1    3
2    B    3    5
3    C    4    2

②. 表格的拼接

· cbind()函数纵向拼接
· rbind()函数纵向拼接

> df1 <- data.frame(x=c("a","b","c"),y=1:3)
> df2 <- data.frame(z=c("A","b","c"),y=c(3,6,9))
> cbind(df1,df2)
  x y z y
1 a 1 A 3
2 b 2 b 6
3 c 3 c 9
> rbind(df1,df2)
Error in match.names(clabs, names(xi)) : 
  names do not match previous names
> colnames(df2)[1] <- "x"
> rbind(df1,df2)
  x y
1 a 1
2 b 2
3 c 3
4 A 3
5 b 6
6 c 9

③. 表格的合并

· merge()函数

> df1 <- data.frame(x=c("a","b","c"),y=1:3)
> df2 <- data.frame(z=c("A","b","c"),y=c(3,6,9))
> merge(df1,df2,by.x = "x",by.y = "z")
  x y.x y.y
1 b   2   6
2 c   3   9
> merge(df1,df2,by.x = "x",by.y = "z",all = T)
  x y.x y.y
1 a   1  NA
2 A  NA   3
3 b   2   6
4 c   3   9

· left_join函数right_join函数inner_join函数full_join函数
· left_join函数只保留左表的所有数据

> df1 <- data.frame(x=c("a","b","c"),y=1:3)
> df2 <- data.frame(z=c("A","b","c"),y=c(3,6,9))
> left_join(df1,df2)
Joining, by = "y"
  x y    z
1 a 1 <NA>
2 b 2 <NA>
3 c 3    A
> ?left_join
> left_join(df1,df2,by=c("x"="z"))
  x y.x y.y
1 a   1  NA
2 b   2   6
3 c   3   9

· right_join函数只保留右表的所有数据

> df1 <- data.frame(x=c("a","b","c"),y=1:3)
> df2 <- data.frame(z=c("A","b","c"),y=c(3,6,9))
> right_join(df1,df2,by=c("x"="z"))
  x y.x y.y
1 b   2   6
2 c   3   9
3 A  NA   3

· inner_join函数只保留所有表的公共数据

> df1 <- data.frame(x=c("a","b","c"),y=1:3)
> df2 <- data.frame(z=c("A","b","c"),y=c(3,6,9))
> inner_join(df1,df2)
Joining, by = "y"
  x y z
1 c 3 A
> inner_join(df1,df2,by=c("x"="z"))
  x y.x y.y
1 b   2   6
2 c   3   9

· full_join函数保留所有表的公共数据

> df1 <- data.frame(x=c("a","b","c"),y=1:3)
> df2 <- data.frame(z=c("A","b","c"),y=c(3,6,9))
> full_join(df1,df2)
Joining, by = "y"
     x y    z
1    a 1 <NA>
2    b 2 <NA>
3    c 3    A
4 <NA> 6    b
5 <NA> 9    c
> full_join(df1,df2,by=c("x"="z"))
  x y.x y.y
1 a   1  NA
2 b   2   6
3 c   3   9
4 A  NA   3

相关文章

  • 第三章-数据预处理

    数据预处理的主要内容包括数据清洗、数据集成、数据变换和数据规约。 3.1数据清洗 数据清洗主要是删除原始数据集中的...

  • 2019-09-14 分析lianjia数据(四)——Power

    分析lianjia房源数据(一)——Python数据清洗 分析lianjia房源数据(二)——SPSS数据清洗 分...

  • 2019-10-03 分析lianjia数据(五)——生成词云图

    分析lianjia房源数据(一)——Python数据清洗 分析lianjia房源数据(二)——SPSS数据清洗 分...

  • 2019-08-19 分析lianjia数据(三)——SPSS数

    前置内容——lianjia数据清洗 分析lianjia房源数据(一)——Python数据清洗 分析lianjia房...

  • 数据清洗的步骤是什么(上)

    数据清洗工作是数据分析工作中不可缺少的步骤,这是因为数据清洗能够处理掉肮脏数据,如果不清洗数据的话,那么数据分析的...

  • 机器学习-数据清洗

    本文由brzhang发表 数据清洗 首先,为何需要对数据进行清洗 数据清洗的工作绝壁是非常枯燥的,做数据研究的的人...

  • 数据清洗

    从两个角度上看,数据清洗一是为了解决数据质量问题,二是让数据更适合做挖掘。不同的目的下分不同的情况,也都有相应的解...

  • 数据清洗

    数据清洗 重复数据处理(推荐使用顺序) 数据透视表可统计数据重复次数和重复数据 选中A、B两列,点击插入选项卡-数...

  • 数据清洗

  • 数据清洗

    数据清洗是指对提供的原始数据进行一定的加工,使得其方便后续的特征抽取。其与特征抽取的界限有时也没有那么明确。常用的...

网友评论

    本文标题:数据清洗

    本文链接:https://www.haomeiwen.com/subject/bgtiqltx.html