美文网首页
pandas数据分析库3~4

pandas数据分析库3~4

作者: SCY_e62e | 来源:发表于2020-11-22 15:50 被阅读0次

    8.3算术运算和对齐

    目的:通过学习算术运算和对齐来掌握nan缺失值处理、DataFrame与Series的运算与多个数据框之间的运算原则以及如何在pandas中使用通用函数。
    一、nan缺失值处理
    1)isnull()函数notnull()函数:判断每个值是否是nan值,返回布尔数组。

    s = np.array([1,5,np.nan,np.nan,10])
    s.isnull()        #判断是否是nan值,是nan值时返回Ture
    s.notnull()       #判断是否是非nan值,是非nan值时返回Ture
    

    举例isnull():


    isnull.png

    2)dropna()函数:返回删除nan值后的新数据框。
    ·dropna()使用时要注意的一些地方:

    df.dropna()                               #含有nan值的行被删除
    df.dropna(axis-1)                         #按axis=1纵向判断,含nan值的列被删除
    df.dropna(how='all')                      #all表示某行的所有数据都为nan才删除
    df.dropna(thresh=2)                       #某行的nan值>=2才删除
    

    3)fillna()函数:将nan值用特定的值填充。
    ·fillna()函数使用的要点:

    df.fillna(0)                              #缺失值都用0填充
    df.fillna(method='ffill')                 #缺失值用其前面的非nan值填充
    df.fillna(method='bfill')                 #缺失值用其后面的非nan值填充
    df.fillna(value=df.mean)                  #用计算得到的平均值填充
    

    二、对齐处理
    简单阐述:
    由于pandas支持标签访问数据,运算时会自动基于标签对齐进行运算。运算数据若是Series则只有行标签,若是DataFrame则会在行、列两个方向上将数据的标签对齐,对应的数据元素进行计算,标签不匹配的数据元素默认标记为NaN值。
    ·注意:
    1、在默认情况下,DataFrame和Series之间进行算术运算会将Series的索引匹配到DataFrame的列,然后行一直向下广播:

    frame = pd.DataFrame(np.arange(12).reshape((4,3)),columns=list('bde'),index=['Utah','Ohio','Texas','Oregon'])
    series = frame.ix[0]
    frame - series
    
    对齐处理1.png

    2、如果某个索引值在DataFrame的列或Series的索引中找不到,则参与运算的两个对象就会被重新索引形成并集:

    series2 = pd.Series(range(3), index=['b','e','f'])
    frame+series2
    
    
    对齐处理2.png

    三、通用函数
    由于pandas时基于numpy构建的,所有numpy支持的通用函数都可以在pandas中用;而且在pandas对数据框的处理中,可以应用DataFrame的apply()来实现将自定义函数应用到各行各列上。
    ·简要说明:

    f = lambda  x: x.max() - x.min()          #定义函数f,参数x将代表整行、整列
    df.apply(f)                               #在每列上求最大值与最小值的差
    df.apply(f,axis=1)                        #在每行上求最大值与最小值的差
    df.apply(lambda  x:x-x.mean)              #计算每列数据与均值的差
    
    

    此外,applymap()可以参考apply()的使用应用到每个数据上。

    8.4读/写数据文件

    目的:通过pandas作为数据接口读取CSV、HDF5、Excel等格式的文件;这里就只简单介绍读取CSv、HDF5文件。
    一、读/写CSV文件
    ·CSV文件是以逗号分隔的文件文本,但是也有以空格分隔的文件文本;pandas提供read_csv()和to_csv()两个方法来读/写CSV文件。

    读取CSV文件时要注意:
    1、文件mobile.csv中含有中文,保存时Windows系统默认采用cp936,所以读取时也应该指定该编码字符集(encoding='cp936'),不然会出现乱码;读取时mobile.csv文件的第0行被自动解析成列名。
    2、当文件中不含列名时,可以在读取时用names参数自行指定列名,例如:当文件不含列名时可以用header=None来表示文件不含列名,这样文件第0行就不会被错误解析韦列名。
    3、读取空格分隔的数据,注意sep="\s+"
    4、其他:

    pd.read_csv("数据文件名",shiprows=[0,2])                  #跳过第0,2行
    pd.read_csv("数据文件名",shiprows=4)                      #跳过前四行
    pd.read_csv("数据文件名",shipfooter=2,engine='pthon')     #跳过尾部两行
    pd.read_csv("数据文件名",nrows=10)                        # 只读取前10行
    

    当文件中包含了日期,在读取时可以指定参数 parse_dates[' '],以便把该列解析为pandas的日期格式,并用index_col参数指定为索引。以一个stock.txt为例:

    df = pd.read_csv('stock.txt',parse_dates=[' 交易日'],encoding='cp936',step='\s+',index_col=[' 交易日'])
    

    存储:

    df.to_csv("d1.csv",encoding='cp936')      #存盘,默认用逗号分隔
    df.to_csv("d2.csv",encoding='cp936',sep=' ')  #存盘时指定用空格分隔
    

    二、读/写HDF5文件
    HDF是一种存储和组织大量数据的文件格式,HDF文件存取的方式类似于字典操作,都通过键存取数据:

    store = pd.HDFStore('store.h5')
    store['a']=df1
    store['c']=df2
    df3=store[' a']
    df4=store[' c']
    

    补充:

    ·插值填充 插值填充.png

    ·CSV的特点:

    • CSV(Comma-Separated Values)一般是以逗号为分隔符,其文件以纯文本形式存储表格数据(数字和文本),有时也称为字符分隔值,因为分隔字符也可以不是逗号。
    • 通常用于在在电子表格软件纯文本之间交互数据;
    • 纯文本,使用某个字符集,比如ASCIIUnicodeEBCDICGB2312
    • 由记录组成(典型的是每行一条记录);
    • 每条记录被分隔符分隔为字段(典型分隔符有逗号、分号或制表符;有时分隔符可以包括可选的空格);
    • 每条记录都有同样的字段序列。
    • 其他:
      • 每条记录占一行 以逗号为分隔符 逗号前后的空格会被忽略
      • 字段中包含有逗号该字段必须用双引号括起来
      • 字段中包含有换行符该字段必须用双引号括起来
      • 字段前后包含有空格该字段必须用双引号括起来
      • 字段中的双引号用两个双引号表示
      • 字段中如果有双引号,该字段必须用双引号括起来
      • 第一条记录,可以是字段名
    • csv.reader()函数与csv.writer()相反,用于返回一个可迭代对象,可以读取该对象,并且解析为CSV数据的每一行;
    • csv.DictReader类和csv.DictWriter类,用于将CSV数据都进到字典中(首先检查是否使用给定字段名,如果没有,就使用第一行作为键),接着将字典字段写入CSV文件中;

    参考网站:

    1、Python Tutor - Visualize Python, Java, C, C++, JavaScript, TypeScript, and Ruby code execution
    2、(1条消息) Python基础语法09--读写csv文件_nikeylee的博客-CSDN博客

    相关文章

      网友评论

          本文标题:pandas数据分析库3~4

          本文链接:https://www.haomeiwen.com/subject/jwqeiktx.html