8.3算术运算和对齐
目的:通过学习算术运算和对齐来掌握nan缺失值处理、DataFrame与Series的运算与多个数据框之间的运算原则以及如何在pandas中使用通用函数。
一、nan缺失值处理
1)isnull()函数notnull()函数:判断每个值是否是nan值,返回布尔数组。
s = np.array([1,5,np.nan,np.nan,10])
s.isnull() #判断是否是nan值,是nan值时返回Ture
s.notnull() #判断是否是非nan值,是非nan值时返回Ture
举例isnull():
isnull.png
2)dropna()函数:返回删除nan值后的新数据框。
·dropna()使用时要注意的一些地方:
df.dropna() #含有nan值的行被删除
df.dropna(axis-1) #按axis=1纵向判断,含nan值的列被删除
df.dropna(how='all') #all表示某行的所有数据都为nan才删除
df.dropna(thresh=2) #某行的nan值>=2才删除
3)fillna()函数:将nan值用特定的值填充。
·fillna()函数使用的要点:
df.fillna(0) #缺失值都用0填充
df.fillna(method='ffill') #缺失值用其前面的非nan值填充
df.fillna(method='bfill') #缺失值用其后面的非nan值填充
df.fillna(value=df.mean) #用计算得到的平均值填充
二、对齐处理
简单阐述:
由于pandas支持标签访问数据,运算时会自动基于标签对齐进行运算。运算数据若是Series则只有行标签,若是DataFrame则会在行、列两个方向上将数据的标签对齐,对应的数据元素进行计算,标签不匹配的数据元素默认标记为NaN值。
·注意:
1、在默认情况下,DataFrame和Series之间进行算术运算会将Series的索引匹配到DataFrame的列,然后行一直向下广播:
frame = pd.DataFrame(np.arange(12).reshape((4,3)),columns=list('bde'),index=['Utah','Ohio','Texas','Oregon'])
series = frame.ix[0]
frame - series
对齐处理1.png
2、如果某个索引值在DataFrame的列或Series的索引中找不到,则参与运算的两个对象就会被重新索引形成并集:
series2 = pd.Series(range(3), index=['b','e','f'])
frame+series2
对齐处理2.png
三、通用函数
由于pandas时基于numpy构建的,所有numpy支持的通用函数都可以在pandas中用;而且在pandas对数据框的处理中,可以应用DataFrame的apply()来实现将自定义函数应用到各行各列上。
·简要说明:
f = lambda x: x.max() - x.min() #定义函数f,参数x将代表整行、整列
df.apply(f) #在每列上求最大值与最小值的差
df.apply(f,axis=1) #在每行上求最大值与最小值的差
df.apply(lambda x:x-x.mean) #计算每列数据与均值的差
此外,applymap()可以参考apply()的使用应用到每个数据上。
8.4读/写数据文件
目的:通过pandas作为数据接口读取CSV、HDF5、Excel等格式的文件;这里就只简单介绍读取CSv、HDF5文件。
一、读/写CSV文件
·CSV文件是以逗号分隔的文件文本,但是也有以空格分隔的文件文本;pandas提供read_csv()和to_csv()两个方法来读/写CSV文件。
读取CSV文件时要注意:
1、文件mobile.csv中含有中文,保存时Windows系统默认采用cp936,所以读取时也应该指定该编码字符集(encoding='cp936'),不然会出现乱码;读取时mobile.csv文件的第0行被自动解析成列名。
2、当文件中不含列名时,可以在读取时用names参数自行指定列名,例如:当文件不含列名时可以用header=None来表示文件不含列名,这样文件第0行就不会被错误解析韦列名。
3、读取空格分隔的数据,注意sep="\s+"
4、其他:
pd.read_csv("数据文件名",shiprows=[0,2]) #跳过第0,2行
pd.read_csv("数据文件名",shiprows=4) #跳过前四行
pd.read_csv("数据文件名",shipfooter=2,engine='pthon') #跳过尾部两行
pd.read_csv("数据文件名",nrows=10) # 只读取前10行
当文件中包含了日期,在读取时可以指定参数 parse_dates[' '],以便把该列解析为pandas的日期格式,并用index_col参数指定为索引。以一个stock.txt为例:
df = pd.read_csv('stock.txt',parse_dates=[' 交易日'],encoding='cp936',step='\s+',index_col=[' 交易日'])
存储:
df.to_csv("d1.csv",encoding='cp936') #存盘,默认用逗号分隔
df.to_csv("d2.csv",encoding='cp936',sep=' ') #存盘时指定用空格分隔
二、读/写HDF5文件
HDF是一种存储和组织大量数据的文件格式,HDF文件存取的方式类似于字典操作,都通过键存取数据:
store = pd.HDFStore('store.h5')
store['a']=df1
store['c']=df2
df3=store[' a']
df4=store[' c']
补充:
·插值填充 插值填充.png·CSV的特点:
- CSV(Comma-Separated Values)一般是以逗号为分隔符,其文件以纯文本形式存储表格数据(数字和文本),有时也称为字符分隔值,因为分隔字符也可以不是逗号。
- 通常用于在在电子表格软件和纯文本之间交互数据;
- 纯文本,使用某个字符集,比如ASCII、Unicode、EBCDIC或GB2312;
- 由记录组成(典型的是每行一条记录);
- 每条记录被分隔符分隔为字段(典型分隔符有逗号、分号或制表符;有时分隔符可以包括可选的空格);
- 每条记录都有同样的字段序列。
- 其他:
- 每条记录占一行 以逗号为分隔符 逗号前后的空格会被忽略
- 字段中包含有逗号,该字段必须用双引号括起来
- 字段中包含有换行符,该字段必须用双引号括起来
- 字段前后包含有空格,该字段必须用双引号括起来
- 字段中的双引号用两个双引号表示
- 字段中如果有双引号,该字段必须用双引号括起来
- 第一条记录,可以是字段名
- csv.reader()函数与csv.writer()相反,用于返回一个可迭代对象,可以读取该对象,并且解析为CSV数据的每一行;
- csv.DictReader类和csv.DictWriter类,用于将CSV数据都进到字典中(首先检查是否使用给定字段名,如果没有,就使用第一行作为键),接着将字典字段写入CSV文件中;
参考网站:
1、Python Tutor - Visualize Python, Java, C, C++, JavaScript, TypeScript, and Ruby code execution
2、(1条消息) Python基础语法09--读写csv文件_nikeylee的博客-CSDN博客
网友评论