美文网首页python我爱编程
Pandas合并和组合操作

Pandas合并和组合操作

作者: lysh1987 | 来源:发表于2018-01-26 23:12 被阅读6117次

    在实际应用中,pandas的concat/merge方法以及groupby方法用的比较多,这里通过实例进行简要的介绍,本次内容主要介绍合并方法。
    内容翻译自:http://pandas.pydata.org/pandas-docs/stable/merging.html#merging

    concat

    先来看一下concat方法的原型

    pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,
              keys=None, levels=None, names=None, verify_integrity=False,
              copy=True)
    

    只看前三个:

    • objs: series,dataframe或者是panel构成的序列lsit
    • axis: 需要合并的轴,0是行,1是列
    • join:连接的方式 inner,或者outer
      例1:
    In [1]: df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
       ...:                     'B': ['B0', 'B1', 'B2', 'B3'],
       ...:                     'C': ['C0', 'C1', 'C2', 'C3'],
       ...:                     'D': ['D0', 'D1', 'D2', 'D3']},
       ...:                     index=[0, 1, 2, 3])
       ...: 
    
    In [2]: df2 = pd.DataFrame({'A': ['A4', 'A5', 'A6', 'A7'],
       ...:                     'B': ['B4', 'B5', 'B6', 'B7'],
       ...:                     'C': ['C4', 'C5', 'C6', 'C7'],
       ...:                     'D': ['D4', 'D5', 'D6', 'D7']},
       ...:                      index=[4, 5, 6, 7])
       ...: 
    
    In [3]: df3 = pd.DataFrame({'A': ['A8', 'A9', 'A10', 'A11'],
       ...:                     'B': ['B8', 'B9', 'B10', 'B11'],
       ...:                     'C': ['C8', 'C9', 'C10', 'C11'],
       ...:                     'D': ['D8', 'D9', 'D10', 'D11']},
       ...:                     index=[8, 9, 10, 11])
       ...: 
    
    In [4]: frames = [df1, df2, df3]
    
    In [5]: result = pd.concat(frames)
    
    例1

    如果需要指明具体的数据来自哪一个“分片”,可以加入keys属性,例2:

    In [6]: result = pd.concat(frames, keys=['x', 'y', 'z'])
    
    例2

    可以看到结果多了一个分层索引,即最左边一列,我们可以通过以下方式对其引用:

    In [7]: result.loc['y']
    Out[7]: 
        A   B   C   D
    4  A4  B4  C4  D4
    5  A5  B5  C5  D5
    6  A6  B6  C6  D6
    7  A7  B7  C7  D7
    

    当然也可以加上axis属性,即确定合并的具体轴,例3:

    In [8]: df4 = pd.DataFrame({'B': ['B2', 'B3', 'B6', 'B7'],
       ...:                  'D': ['D2', 'D3', 'D6', 'D7'],
       ...:                  'F': ['F2', 'F3', 'F6', 'F7']},
       ...:                 index=[2, 3, 6, 7])
       ...: 
    
    In [9]: result = pd.concat([df1, df4], axis=1)
    
    例3

    可以看到此时jion的方式为outer,在并集上原来没有元素的片上用np.nan填充,这也是pandas的一致做法。
    同样可以指定join的方式,inner交集 or outer并集,例4:

    In [10]: result = pd.concat([df1, df4], axis=1, join='inner')
    
    例4

    最后我们当然也可以指定具体用哪个分片的index,例5:

    In [11]: result = pd.concat([df1, df4], axis=1, join_axes=[df1.index])
    
    例5

    merge

    首先看一下merge函数的原型

    pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None,
             left_index=False, right_index=False, sort=True,
             suffixes=('_x', '_y'), copy=True, indicator=False,
             validate=None)
    
    • left,right:需要merge的DataFrame对象
    • how:jion的方式,inner(默认),outer,left(左边对象的key),或者right
    • on:jion用来对齐的那一列的名字

    首先来看一个简单的例子,例6:

    In [38]: left = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'],
       ....:                      'A': ['A0', 'A1', 'A2', 'A3'],
       ....:                      'B': ['B0', 'B1', 'B2', 'B3']})
       ....: 
    
    In [39]: right = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'],
       ....:                       'C': ['C0', 'C1', 'C2', 'C3'],
       ....:                       'D': ['D0', 'D1', 'D2', 'D3']})
       ....: 
    
    In [40]: result = pd.merge(left, right, on='key')
    
    例6

    也可以指定多个jion key,例7:

    In [41]: left = pd.DataFrame({'key1': ['K0', 'K0', 'K1', 'K2'],
       ....:                      'key2': ['K0', 'K1', 'K0', 'K1'],
       ....:                      'A': ['A0', 'A1', 'A2', 'A3'],
       ....:                      'B': ['B0', 'B1', 'B2', 'B3']})
       ....: 
    
    In [42]: right = pd.DataFrame({'key1': ['K0', 'K1', 'K1', 'K2'],
       ....:                       'key2': ['K0', 'K0', 'K0', 'K0'],
       ....:                       'C': ['C0', 'C1', 'C2', 'C3'],
       ....:                       'D': ['D0', 'D1', 'D2', 'D3']})
       ....: 
    
    In [43]: result = pd.merge(left, right, on=['key1', 'key2'])
    
    例7

    也可以通过how指定merge的方式,例8:

    In [44]: result = pd.merge(left, right, how='left', on=['key1', 'key2'])
    
    例8
    In [45]: result = pd.merge(left, right, how='inner', on=['key1', 'key2'])
    
    例9
    In [46]: result = pd.merge(left, right, how='outer', on=['key1', 'key2'])
    
    例10

    再来一个重复连接键的例子,例11:

    In [48]: left = pd.DataFrame({'A' : [1,2], 'B' : [2, 2]})
    
    In [49]: right = pd.DataFrame({'A' : [4,5,6], 'B': [2,2,2]})
    
    In [50]: result = pd.merge(left, right, on='B', how='outer')
    
    例11

    相关文章

      网友评论

        本文标题:Pandas合并和组合操作

        本文链接:https://www.haomeiwen.com/subject/hjkwaxtx.html