Excel能处理的数据是有上限的（2007版本是256列X1048576行）。如果遇到大型数据，例如APP运行后台的一些数据，excel是处理不了的。这个时候就需要用sql，R语言或者python来整理我们需要的数据。
其实，传统的关系型数据库可以用sql来完成这些工作。如果你会写sql，那你可以直接在数据库平台上操作，导出自己需要的数据，如果不会，那就要求助于DBA。然而，DBA一般不太清楚数据分析师的需求，也没空理会数据分析师的需求（比如你要求他们按照A项排序后又按照B项排序），而且交流成本比较高……所以，数据分析师可以要求他们导出“全体”的数据库（或者自己连接数据库导出数据），然后自己来了解数据的结构和数据的类型，并进行简单筛选、排除、汇总工作。
如果是分布式的数据库，那就需要用HSQL，Spark等其他工具技巧来获取数据。以后有机会再介绍吧。这里主要是介绍如何用R语言来对数据进行初步的了解。
1.设置工作目录
了解当前目录：getwd()
设置工作目录：setwd("F:/R语言工作目录")
注意(1)斜杠的方向,(2)文件夹要先建好。
默认目录一般都在C盘，因此最好在其他盘设置工作目录，将数据保存在其他硬盘，以免使C盘空间越来越小。如果你处理的是几十KB的数据，放在C盘无所谓，但如果处理几十MB的数据，反复操作你的工作目录可能越来越大。
2.读取数据文件
推荐CSV格式
data1008 <- read.csv("kunming.csv",header=T)
data1009 <- read.table("kunming.txt",header=F)
其他参见 https://blog.csdn.net/tb3039450/article/details/52557200
3.列命名
names(data1008) <- c("MAC","frequ")
名称不能超过列数
4.数据描述
head(data1008) //主要是查看数据导入过程是否除了差错
str(data1008) //帮助你了解dataframe里面有的数据类型
summary(data1008) //帮助你了解数据分布和缺失值
5.数据类型转换
data1008$MAC <- as.character(data1008$MAC)
as.complex(x)
as.numeric(x)或者as.double(x)
as.integer(x)
as.logical(x)
as.date(X)
说明：上述函数表示，对于每个基本的数据类型，都有一个函数用来把其它数据类型的值转换为自己数据类型。转换成功，则得到相应的结果；反之，则得到NA值。
一般，字符型都会被默认为是factor，必然要转换成character才可以进行各种操作。
【待补充，R语言数据类型】
6.取某几列或某几行
etimetrans <- data1008[,"ETIME"]
data1008[1,3] #data1008数据框的第1行第3列
data1008[1:2] #data1008数据框的1到2列
data1008[c('age','status')] #data1008数据框中的age和status列
data1008$status #patientdat数据框中的status列
取某几行
data1<-data1008[2:4,]
data2<-data1008[10:16,]
删除行
A <- A[-1,] //删除第一行
A <- A[,-2]//删除第二列
mydf <- subset(mydf, select = -X ) //删除mydf数集中X这一列
7.排序
dataorder <- data1008[order(-data1008[,4]),] //按照第4列排序
data1008$ID <- order(-data1008$res) //按照res排序
a[order(a$a1,-a$a2),] //先按照a1升序序，再按照a2降序
8.用0替换缺失值
data1008[is.na(data008)] <- 0
9.插入几行
data1<- data.frame(x1=runif(10),x2= runif(10),x3= runif(10))
row<- c(1, 1, 1)
data2 <- rbind(data1[1:5,], row, data1[6:nrow(data1), ])
插入几列
y<-1:4
data1 <- data.frame(x1=c(1,3,5,7), x2=c(2,4,6,8),x3=c(11,12,13,14),x4=c(15,16,17,18))
data2 <- cbind(data1[,1:2],y,data1[,3:ncol(data1)])
10.筛选数据
selectresult <- subset(df1,name=="aa") //选出符合某一条件的数据
selectresult <- subset(df1,a>5) //选出符合某一条件的数据
11.两组数据求交集【未完待续】
非常重要。因为你经常需要合并或者关联两个表。
key是两个表都要有的一列。
x <- merge(a,b,by="key",all=FALSE)#内连接，两个表实现与的操作，只显示两个表都有的数值
x <- merge(a,b,by="key",all=TRUE)#外连接，两个表实现并的操作，如果有个表的数值没有显示为空
a <- merge(a,b,by="key",all.x=TRUE)#左连接
a <- merge(a,b,by="key",all.y=TRUE)#右连接
可以参考 https://www.jianshu.com/p/148a399b61d3
12.数据汇总【未完待续】
往往汇总后的数据才是数据分析师数据分析的起点。
13.单列频次分布【未完待续】
14.因变量和自变量作图【未完待续】
15.随机抽样【未完待续】
网友评论