像excel一样使用python，上一期介绍了生成、查看、替换等功能，这一期介绍数据预处理，包括数据表合并、排序、分组等。

1.合并

Excel里智能复制粘贴来合并表格，或者通过VLOOKUP函数分步实现。python中，可以直接使用merge函数来合并两个表，可选参数较多，这里只介绍最常用的几个参数：

df1.merge(df2,how='inner',on=None,left_on=None,right_on=None)

或：pandas.merge（df1,df2,how='inner'…）

将df1与df2合并，how为合并方式，有“inner、outer、left、right”4种选择，分别为“求交集、并集、固定左边、固定右边”。On代表用于连接的键名，如果两表合并对象的列名不同，使用left_on=None, right_on=None来分别指定。在默认情况下，merge会自动以重叠的列名按inner的方式合并。

importpandasaspd

frompandasimportDataFrame,Series

df1=DataFrame({'gene':['arx1','arx2','arx3','arx4'],

'size':[411,530,289,450]})

df2=DataFrame([['arx2','kana-A'],['arx3','kana-B'],

['arx4','pdm-V'],['arx5','pdm-V1']],

columns=['gene','homo'])

df_inner=pd.merge(df1,df2,how='inner',on='gene')

printdf_inner

输出：

gene size   homo

0  arx2  530  kana-A

1  arx3  289  kana-B

2  arx4  450   pdm-V

2.排序

在excel中，使用数据-排序可以对数据表直接进行排序。

数据-排序

在python中，可以使用sort_values和sort_index函数进行排序。

printdf1.sort_values(by=['size'])

输出：

gene  size

2  arx3   289

0  arx1   411

3  arx4   450

1  arx2   530

而sort_index可以按索引进行排序。

df_inner.set_index('size')

#将size列作为索引df_inner.sort_index()

#使用索引进行排序

3.分组

在excel中，使用“公式-插入函数-LOOKUP-选择分组列与分组条件”进行分组。

公式-插入函数-LOOKUP-分组

在python中，使用where函数对值进行判断。

df1['group']=np.where(df1['size'] >300,'long','short')

printdf1

输出：

gene  size  group

0  arx1   411   long

1  arx2   530   long

2  arx3   289  short

3  arx4   450   long

4.分列

即将一列按固定规则分为多列。在excel中，可使用“数据-分列”进行分拆。

数据-分列

在python中，使用split函数。若以“-”为分隔符，对“homo”列中的所有元素进行分割，index与df2保持一致，列重新取名为“category”和“number”，则表达式如下：

df3=DataFrame((x.split('-')forxindf2['homo']),index=df2.index,columns=['category','number'])

printdf3

输出：

category number

0     kana      A

1     kana      B

2      pdm      V

3      pdm     V1

5.数据提取

按索引进行提取使用loc函数。

printdf1.loc[:2]

#提取从0至1的数据printdf1.loc[1]

#提取索引为1的数据

按位置提取，使用iloc函数，将横纵方向标签均从0开始计算。

printdf1.iloc[2,2]

#第三行第三列的数据printdf1.iloc[:3,:3]

#前三行前三列的数据

同时又按索引又按位置提取，使用ix函数。

df1=df1.set_index('gene')

#将gene设为索引列printdf1.ix[:'arx2',:3]

#索引arx2之前及0-2列部分

按条件提取，可使用isin函数。Isin函数用来判断是否为给定值，是返回“True”，否返回“False”。将isin函数嵌套如loc函数中，可以输出结果为“True”的数据。

printdf1['group'].isin(['long'])

输出：

0     True

1     True

2    False

3     True

Name: group, dtype: bool

printdf1.loc[df1['group'].isin(['long'])]

输出：

gene  size group

0  arx1   411  long

1  arx2   530  long

3  arx4   450  long

6.数据筛选

Excel中可以使用“数据-筛选”根据字段进行筛选。

数据-筛选

Python中可使用与、或、非，”&”、”|”、”!=”和loc函数一起进行筛选。例如筛选size>400，homo带有kana的数据：

printdf_inner.loc[(df_inner['size'] >400)&(df_inner['homo'].isin(['kana-A']))]

或者使用query函数进行搜索。

printdf_inner.query('size>400')

本文参考：

Python For Data Analysis

蓝鲸网站分析博客，作者蓝鲸（王彦平）