美文网首页技巧文章
python数据处理笔记

python数据处理笔记

作者: 火炬广场老大爷 | 来源:发表于2020-12-18 11:17 被阅读0次

    主要记录一些常见python代码的笔记,尤其是pandas的函数使用,常年滚动更新。

    0.注意数据格式

    一定要查看数据格式,进行必要修改后再进行计算

    查看方法:
    df.dtypes
    修改方法(以将客户编号这一列改成整数类型int为例)(使用astype函数)
    data['客户编号'] = data['客户编号'].astype('int')

    1.导入与导出

    import pandas as pd  #导入pandas模块
    f1 = pd.read_csv('D:\daima\shujuchuli\LTE_NRTM_areasubservice_HE_202012150000_P01_END.CSV')#导入CSV文件,文件名称开头不能是数字
    df1=pd.DataFrame(data)#将导入的数据转为dataframe
    
    print('----------------正在修改告警名称为正确名称--------------')#打印
    
    data=input('请输入原始文件路径及完整名称')
    data=pd.read_excel(data)#使用input方式读取excel
    
    outdata=input('请输入导出文件路径及完整名称')
    df2.to_excel(outdata,index=False)#使用input方式导出excel,如果index=False,则不输出列标题,否则默认输出列标题。
    

    2.数据清洗

    列提取

    提取df1中‘首次统计开始’等列的数据,组成新的df1

    cols=['首次统计周期开始','归属地市','对象','告警名称','无线原因','恢复类型','影响用户数']
    df1=df1[cols]
    

    修改时间

    将时间格式从20201203这样的改成年月日

    df1['首次统计周期开始']=pd.to_datetime(df1.首次统计周期开始, dayfirst=True)
    
    def func(x):
        format_time=x.strftime("%Y{y}%m{m}%d{d}").format(y="年",m="月",d="日")
        return format_time
    df1['首次统计周期开始']=df1['首次统计周期开始'].apply(func)
    

    内容代替

    把名称中的“小区名称”=用空格代替,达到将其删除的目的
    df1['对象']=df1['对象'].str.replace('小区名称=','')
    把“自动恢复”改成“已恢复”
    df1['恢复类型']=df1['恢复类型'].replace(" 自动恢复","已恢复")

    删除空格

    df1['对象']=df1['对象'].str.strip()

    数据分割

    从数据中的“(”进行分割,并且只要分割后的第0列

    df2= df1['告警名称'].str.split('(', expand=True)
    df1['告警名称']=df2[0]
    

    给空缺值赋值

    把空缺值替换成定位中
    df1['无线原因']=df1['无线原因'].fillna(value='定位中')

    添加列

    添加一列,标题写为“备注”,并将内容全部写上“华为”
    df1['备注']='华为'

    修改列名称

    df1.columns=['时间','市','小区','关联规则','派单原因','hf','影响用户数','备注']

    删除表格中的部分数据

    删除感知劣化小区表格中的旧数据(目前为删除第3651行(数据索引3650)(及以后)

    i=df2.shape[0]+1
    i=i-3561
    df2=df2.drop(df2.tail(i).index)
    

    数据拼接

    把df1拼到df2的下面,是向下拼接,如果向右拼接,就用axis=1
    df2=pd.concat(objs=[df2,df1],axis=0,join="outer")

    3.数据统计

    求均值或最大值-groupby

    求df5中的第三列的不同元素的第10列数据的均值。在原文件中,第三列为不同场景,第10列是时延数据,通过以下代码可以算出每个场景的平均时延数据。
    df6=df5.groupby('3')['10'].mean()
    如果我想求不同公司员工的平均年龄和平均薪水,可以按照下方的代码进行:
    data.groupby("company").agg('mean')
    据说还可以用groupby画图,以后再研究。

    4.三板斧map、apply以及applymap

    数据如下:

    6ca56a1b67eff5b4f279ecf1b1a636c6_v2-656d29d7df031238286e085bfa50293b_720w.jpg
    如果需要把数据集中gender列的男替换为1,女替换为0,代码应该这么写:
    data["gender"] = data["gender"].map({"男":1, "女":0})
    相对于map,apply能够传入功能更为复杂的函数。假设在数据统计的过程中,年龄age列有较大误差,需要对其进行调整(加上或减去一个值),由于这个加上或减去的值未知,故在定义函数时,需要加多一个参数bias,此时用map方法是操作不了的(传入map的函数只能接收一个参数),apply方法则可以解决这个问题。
    def apply_age(x,bias):
        return x+bias
    ​
    #以元组的方式传入额外的参数
    data["age"] = data["age"].apply(apply_age,args=(-3,))
    
    443f060e839b383aac60dddac9d9ccb3_v2-02953f865dcb6245f9482bf15855a013_720w.jpg

    可以看到age列都减了3,当然,这里只是简单举了个例子,当需要进行复杂处理时,更能体现apply的作用。
    假设现在需要对data中的数值列分别进行取对数和求和的操作,这时可以用apply进行相应的操作,因为是对列进行操作,所以需要指定axis=0。

    # 沿着0轴求和
    data[["height","weight","age"]].apply(np.sum, axis=0)
    ​
    # 沿着0轴取对数
    data[["height","weight","age"]].apply(np.log, axis=0)
    

    applymap的用法比较简单,会对DataFrame中的每个单元格执行指定函数的操作,虽然用途不如apply广泛,但在某些场合下还是比较有用的。

    b6531ea95d01fdda06561e8be7ddbbdd_v2-a3bb9abd38a47f7c17e56f677464f8d1_720w.jpg
    现在想将DataFrame中所有的值保留两位小数显示:
    df.applymap(lambda x:"%.2f" % x)

    相关文章

      网友评论

        本文标题:python数据处理笔记

        本文链接:https://www.haomeiwen.com/subject/lmlxnktx.html