主要记录一些常见python代码的笔记,尤其是pandas的函数使用,常年滚动更新。
0.注意数据格式
一定要查看数据格式,进行必要修改后再进行计算
查看方法:
df.dtypes
修改方法(以将客户编号这一列改成整数类型int为例)(使用astype函数)
data['客户编号'] = data['客户编号'].astype('int')
1.导入与导出
import pandas as pd #导入pandas模块
f1 = pd.read_csv('D:\daima\shujuchuli\LTE_NRTM_areasubservice_HE_202012150000_P01_END.CSV')#导入CSV文件,文件名称开头不能是数字
df1=pd.DataFrame(data)#将导入的数据转为dataframe
print('----------------正在修改告警名称为正确名称--------------')#打印
data=input('请输入原始文件路径及完整名称')
data=pd.read_excel(data)#使用input方式读取excel
outdata=input('请输入导出文件路径及完整名称')
df2.to_excel(outdata,index=False)#使用input方式导出excel,如果index=False,则不输出列标题,否则默认输出列标题。
2.数据清洗
列提取
提取df1中‘首次统计开始’等列的数据,组成新的df1
cols=['首次统计周期开始','归属地市','对象','告警名称','无线原因','恢复类型','影响用户数']
df1=df1[cols]
修改时间
将时间格式从20201203这样的改成年月日
df1['首次统计周期开始']=pd.to_datetime(df1.首次统计周期开始, dayfirst=True)
def func(x):
format_time=x.strftime("%Y{y}%m{m}%d{d}").format(y="年",m="月",d="日")
return format_time
df1['首次统计周期开始']=df1['首次统计周期开始'].apply(func)
内容代替
把名称中的“小区名称”=用空格代替,达到将其删除的目的
df1['对象']=df1['对象'].str.replace('小区名称=','')
把“自动恢复”改成“已恢复”
df1['恢复类型']=df1['恢复类型'].replace(" 自动恢复","已恢复")
删除空格
df1['对象']=df1['对象'].str.strip()
数据分割
从数据中的“(”进行分割,并且只要分割后的第0列
df2= df1['告警名称'].str.split('(', expand=True)
df1['告警名称']=df2[0]
给空缺值赋值
把空缺值替换成定位中
df1['无线原因']=df1['无线原因'].fillna(value='定位中')
添加列
添加一列,标题写为“备注”,并将内容全部写上“华为”
df1['备注']='华为'
修改列名称
df1.columns=['时间','市','小区','关联规则','派单原因','hf','影响用户数','备注']
删除表格中的部分数据
删除感知劣化小区表格中的旧数据(目前为删除第3651行(数据索引3650)(及以后)
i=df2.shape[0]+1
i=i-3561
df2=df2.drop(df2.tail(i).index)
数据拼接
把df1拼到df2的下面,是向下拼接,如果向右拼接,就用axis=1
df2=pd.concat(objs=[df2,df1],axis=0,join="outer")
3.数据统计
求均值或最大值-groupby
求df5中的第三列的不同元素的第10列数据的均值。在原文件中,第三列为不同场景,第10列是时延数据,通过以下代码可以算出每个场景的平均时延数据。
df6=df5.groupby('3')['10'].mean()
如果我想求不同公司员工的平均年龄和平均薪水,可以按照下方的代码进行:
data.groupby("company").agg('mean')
据说还可以用groupby画图,以后再研究。
4.三板斧map、apply以及applymap
数据如下:
如果需要把数据集中gender列的男替换为1,女替换为0,代码应该这么写:
data["gender"] = data["gender"].map({"男":1, "女":0})
相对于map,apply能够传入功能更为复杂的函数。假设在数据统计的过程中,年龄age列有较大误差,需要对其进行调整(加上或减去一个值),由于这个加上或减去的值未知,故在定义函数时,需要加多一个参数bias,此时用map方法是操作不了的(传入map的函数只能接收一个参数),apply方法则可以解决这个问题。
def apply_age(x,bias):
return x+bias
#以元组的方式传入额外的参数
data["age"] = data["age"].apply(apply_age,args=(-3,))
443f060e839b383aac60dddac9d9ccb3_v2-02953f865dcb6245f9482bf15855a013_720w.jpg
可以看到age列都减了3,当然,这里只是简单举了个例子,当需要进行复杂处理时,更能体现apply的作用。
假设现在需要对data中的数值列分别进行取对数和求和的操作,这时可以用apply进行相应的操作,因为是对列进行操作,所以需要指定axis=0。
# 沿着0轴求和
data[["height","weight","age"]].apply(np.sum, axis=0)
# 沿着0轴取对数
data[["height","weight","age"]].apply(np.log, axis=0)
applymap的用法比较简单,会对DataFrame中的每个单元格执行指定函数的操作,虽然用途不如apply广泛,但在某些场合下还是比较有用的。
现在想将DataFrame中所有的值保留两位小数显示:
df.applymap(lambda x:"%.2f" % x)
网友评论