美文网首页computer_knowledge
pandas 基本操作记录

pandas 基本操作记录

作者: Koap | 来源:发表于2018-11-09 09:32 被阅读0次

    读写

    • 创建DataFrame
      df = pd.DataFrame(dict,index=[ ]) #从字典
      df = pd.DataFrame(array,columns=[ ], index=[ ]) #从矩阵,如没有定义列名、索引名,默认数字
      data.loc[data.shape[0], :] = [:] #逐行加入df

    • 读取列名、索引
      df.columns
      df.index

    • 读取csv
      df = pd.read_csv()

    • 写CSV
      df.to_csv(path,index=False)

    • 默认显示前五行
      df.head()

    • 通过名称索引
      df.loc[row,col]

    • 通过数字索引
      df.iloc[row,col]

    修改、删增

    • 删除行(axis=0)、列(axis=1)
      df.drop([ ],inplace=False,axis=0)
    • 改变索引
      df.set_index(colunms=[ ],inplace=False)
    • 重置0开始的索引
      df = df.reset_index(drop=True)
    • 重新索引
      df = df.reindex(index=[ ],columns=[ ]) # 对行和列均可以重新索引
    • 改变列名
      df.rename(columns=({'old':'new','old1':'new1'}),inplace=True)
    • 组合两个dataframe
      df = pd.concat([df1,df2],axis=1) #axis=1增加列 ;axis=0增加行
      df = df1.append(df2) #增加行,同上axis=0的情况,可用作逐行添加数据
      df1.join(df2,how='inner/outer') #增加行,默认保留df1的全部索引,inner表示保留交集索引,outer保留并集索引

    计算

    • 求和
      df.sum() #对每列求和
      df.sum(1) #对行求和
    • 求均值、最大、最小值
      df.mean() #对每列求平均
      df.mean(1) #对行
      df.max()
      df.min()

    数据处理

    • 正则匹配
      series.str.extract(pat, flags=0, expand=None)
      #pat : 字符串或正则表达式
      #flags : 整型,
      #expand : 布尔型,是否返回DataFrame
      #Returns:数据框dataframe/索引index
    • 去重复
      df.drop_duplicates(cols,keep='first',inplace=True)
    • 空值处理
      df.dropna(inplace=True) #去空值
      df.fillna(0) #替换空值为0
    • 显示基本信息(包括行列数、每行非空数据条数等)
      df.info()
    • 改变列的数据类型
      df[ ].astype()
    • 显示数值特征
      df.describe()
    • 显示数据分布
      df[ ].value_counts(normalize=True) #normalize=True显示比例,不加显示数量
    • 根据某个列的值排序
      df.sort_values(by='xxxx', ascending=False).head()
      df.sort_values(by=['xxxx', 'yyyy'], ascending=[True, False]).head() #根据多个列的数值排序
      -应用函数至每一列
      df.apply() #一般用lambda表示函数
      df.apply( ,axis=1) #应用到每一行
    • 替换某一列中的值
      df[xxxx'] = df['xxxx'].map(dict)
      df = df.replace({'xxxx': dict})
    • 分组数据
      df.groupby(by=grouping_columns)[columns_to_show].function()
      #groupby方法根据grouping_columns的值进行分组。
      #接着,选中感兴趣的列(columns_to_show)。如果不包括这一项,那么会包括所有非groupby列。
      #最后,应用一个或多个函数。
    • 列联表
      pd.crosstab(df['xxxx'],df['yyyy'],normalize=False)
    • 透视表
      df.pivot_table(['xxxx', 'yyyy'], ['zzzz'], aggfunc='mean')
      #values 需要计算统计数据的变量列表
      #index 分组数据的变量列表
      #aggfunc 需要计算哪些统计数据,例如,总和、均值、最大值、最小值,等等

    相关文章

      网友评论

        本文标题:pandas 基本操作记录

        本文链接:https://www.haomeiwen.com/subject/xgbnnftx.html