美文网首页
pandas复习笔记

pandas复习笔记

作者: 一言不合就跑步 | 来源:发表于2018-11-07 17:01 被阅读0次
    s4 = s4.drop('e')  # 删除索引为 e 的值
    s4
    
    s4.add(s3)#对应相加,无此项则设为NaN
    s4.sub(s3)#对应相减,无此项则设为NaN
    s4.mul(s3)#对应相乘,无此项则设为NaN
    s4.div(s3)#Series 的除法运算是按照索引对应计算,如果索引不同则填充为 NaN(空值)。
    s4.median()#求中位数
    s4.sum()#求和
    s4.max()#求最大值
    s4.min()#求最小值
    
    #通过 NumPy 数组创建 DataFrame
    dates = pd.date_range('today',periods=6)
    num_arr = np.random.randn(6,4)
    columns = ['A','B','C','D']
    df1 = pd.DataFrame(num_arr,index=dates,columns=columns)
    df1
    #查看 DataFrame 的数据类型
    df2.dtypes
    
    #预览 DataFrame 的前 5 行数据此方法对快速了解陌生数据集结构十分有用
    df2.head()
    #查看 DataFrame 的后 3 行数据
    df2.tail(3)
    #查看 DataFrame 的数值
    df2.values
    #查看 DataFrame 的统计数据
    df2.describe()
    #DataFrame 转置操作
    df2.T
    # 对 DataFrame 进行按列排序
    df2.sort_values(by='age')  # 按 age 升序排列
    #对 DataFrame 数据切片
    df2[:3]#真是反人类啊,是横向的索引,又不能单独行
    df2.age  # 等价于 df2['age']
    #对 DataFrame 通过标签查询
    df2[['age','animal']]
    #对 DataFrame 通过位置查询
    df2.iloc[1:3]
    #DataFrame 副本拷贝
    df3 = df2.copy()
    df3
    # 判断 DataFrame 元素是否为空
    df3.isnull()  # 如果为空则返回为 True
    #添加列数据
    num = pd.Series([0, 1, 2, 3, 4, 5, 6, 7, 8, 9], index=df3.index)
    df3['No.'] = num  # 添加以 'No.' 为列名的新数据列
    df3
    #DataFrame 求平均值操作
    df3.mean()
    #将字符串转化为小写字母| 将字符串转化为大写字母
    string = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca',
                        np.nan, 'CABA', 'dog', 'cat'])
    print(string)
    string.str.lower()
    string.str.upper()
    #对缺失值进行填充
    df4 = df3.copy()
    print(df4)
    df4.fillna(value=3)
    #删除存在缺失值的行
    df5 = df3.copy()
    print(df5)
    df5.dropna(how='any')
    df5.dropna(how='all')
    
    #DataFrame 按指定列对齐
    left = pd.DataFrame({'key': ['foo1', 'foo2'], 'one': [1, 2]})
    right = pd.DataFrame({'key': ['foo2', 'foo3'], 'two': [4, 5]})
    
    print(left)
    print(right)
    
    # 按照 key 列对齐连接,只存在 foo2 相同,所以最后变成一行
    pd.merge(left, right, on='key')
    
    #时间序列索引
    dti = pd.date_range(start='2018-01-01', end='2018-12-31', freq='D')
    s = pd.Series(np.random.rand(len(dti)), index=dti)
    s
    #统计s 中每一个周三对应值的和
    # 周一从 0 开始
    s[s.index.weekday == 2].sum()
    #统计s中每个月值的平均值
    s.resample('M').mean()
    
    # 将 Series 中的时间进行转换(秒转分钟)
    s = pd.date_range('today', periods=100, freq='S')
    
    ts = pd.Series(np.random.randint(0, 500, len(s)), index=s)
    
    ts.resample('Min').sum()#什么意思没搞明白
    
    #UTC 世界时间标准
    s = pd.date_range('today', periods=1, freq='D')  # 获取当前时间
    ts = pd.Series(np.random.randn(len(s)), s)  # 随机数值
    ts_utc = ts.tz_localize('UTC')  # 转换为 UTC 时间
    ts_utc
    ts_utc.tz_convert('Asia/Shanghai')#转换为上海所在时区
    
    #不同时间表示方式的转换
    rng = pd.date_range('1/1/2018', periods=5, freq='M')
    ts = pd.Series(np.random.randn(len(rng)), index=rng)
    print(ts)
    ps = ts.to_period()
    print(ps)
    ps.to_timestamp()
    
    
    #Series 多重索引
    letters = ["A",'B','C']
    numbers = list(range(10))
    
    mi = pd.MultiIndex.from_product([letters,numbers])
    s = pd.Series(np.random.rand(30),index=mi)
    s
    
    s.loc[:, [1, 3, 6]]# 查询索引为 1,3,6 的值
    
    s.loc[pd.IndexSlice[:'B',5:]]#多重索引 Series 切片
    
    #根据多重索引创建 DataFrame
    frame = pd.DataFrame(np.arange(12).reshape(6,2),
                         index=[list('AAABBB'),list('123123')],
                         columns=['hello','shiyanlou'])
    frame
    
    #多重索引设置列名称
    frame.index.names = ['first','second']
    frame
    #DataFrame 多重索引分组求和
    frame.groupby('first').sum()
    #DataFrame 行列名称转换
    frame.stack()
    #索引转换
    frame.unstack()
    
    
    
    #DataFrame 多重条件查询,查找 age<3 且为 cat 的全部数据
    df[(df['animal'] == 'cat') & (df['age'] <3)]
    
    #DataFrame 按关键字查询
    df3[df3['animal'].isin(['cat','dog'])]
    
    #DataFrame 按标签及列名查询
    df.loc[df.index[[3,4,8]],['animal','age']]
    
    #按照 age 降序,visits 升序排列
    df.sort_values(by=['age','visits'],ascending=[False,True])
    
    #DataFrame 多值替换
    df['priority'].map({'yes':True,'no':False})
    
    # DataFrame 打包求和
    df4.groupby('animal').sum()
    
    #使用列表拼接多个 DataFrame
    temp_df1 = pd.DataFrame(np.random.randn(5, 4))  # 生成由随机数组成的 DataFrame 1
    temp_df2 = pd.DataFrame(np.random.randn(5, 4))  # 生成由随机数组成的 DataFrame 2
    temp_df3 = pd.DataFrame(np.random.randn(5, 4))  # 生成由随机数组成的 DataFrame 3
    
    print(temp_df1)
    print(temp_df2)
    print(temp_df3)
    
    pieces = [temp_df1,temp_df2,temp_df3]
    pd.concat(pieces)
    
    #找出 DataFrame 表中和最小的列
    df = pd.DataFrame(np.random.random(size=(5,10)),columns=list('abcdefghij'))
    print(df)
    df.sum().idxmin()
    
    #DataFrame 中每个元素减去每一行的平均值
    df = pd.DataFrame(np.random.random(size=(5, 3)))
    print(df)
    df.sub(df.mean(axis=1),axis=0)
    
    #DataFrame 分组,并得到每一组中最大三个数之和
    df = pd.DataFrame({'A': list('aaabbcaabcccbbc'),
                       'B': [12, 345, 3, 1, 45, 14, 4, 52, 54, 23, 235, 21, 57, 3, 87]})
    print(df)
    df.groupby('A')['B'].nlargest(3).sum(level=0)
    
    #用透视表来进行数据聚合
    #透视表的创建
    df = pd.DataFrame({'A': ['one', 'one', 'two', 'three'] * 3,
                       'B': ['A', 'B', 'C'] * 4,
                       'C': ['foo', 'foo', 'foo', 'bar', 'bar', 'bar'] * 2,
                       'D': np.random.randn(12),
                       'E': np.random.randn(12)})
    
    print(df)
    
    pd.pivot_table(df, index=['A', 'B'])
    
    #透视表按指定行进行聚合
    pd.pivot_table(df, values=['D'], index=['A', 'B'])
    
    # 透视表聚合方式定义
    pd.pivot_table(df, values=['D'], index=['A', 'B'], aggfunc=[np.sum, len])
    
    #透视表利用额外列进行辅助分割
    #D 列按照 A,B 列进行聚合时,若关心 C 列对 D 列的影响,可以加入 columns 值进行分析。
    pd.pivot_table(df, values=['D'], index=['A', 'B'],
                   columns=['C'], aggfunc=np.sum)
    
    #透视表的缺省值处理
    在透视表中由于不同的聚合方式,相应缺少的组合将为缺省值,可以加入 fill_value 对缺省值处理。
    
    #信息区间划分
    df = pd.DataFrame({'name': ['Alice', 'Bob', 'Candy', 'Dany', 'Ella',
                                'Frank', 'Grace', 'Jenny'], 'grades': [58, 83, 79, 65, 93, 45, 61, 88]})
    
    
    def choice(x):
        if x > 60:
            return 1
        else:
            return 0
    
    
    df.grades = pd.Series(map(lambda x: choice(x), df.grades))
    df
    
    #数据去重
    #尝试将 A 列中连续重复的数据清除。
    df = pd.DataFrame({'A': [1, 2, 2, 3, 4, 5, 5, 5, 6, 7, 7]})
    df.loc[df['A'].shift() != df['A']]
    
    
    
    
    
    

    相关文章

      网友评论

          本文标题:pandas复习笔记

          本文链接:https://www.haomeiwen.com/subject/hzivxqtx.html