Pandas_Select_Data_Duplicated_Drop_duplicates

如果要识别和删除DataFrame中的重复行，有两种方法可以提供帮助：duplicated和drop_duplicates。每个都将用于标识重复行的列作为参数。

duplicated 返回一个布尔向量，其长度为行数，表示行是否重复。

drop_duplicates 删除重复的行。

默认情况下，重复集的第一个观察行被认为是唯一的，但每个方法都有一个keep参数来指定要保留的目标。

• keep='first' （默认值）：标记/删除重复项，第一次出现除外。
• keep='last'：标记/删除重复项，除了最后一次出现。
• keep=False：标记/删除所有重复项。

data = pd.DataFrame({'a': list('aabbccddeeff'), 'b': list('aaaabbbbcccc'),
                   'c': np.random.randint(5, size=12),
                   'd': np.random.randint(9, size=12)})

duplicated

subset 参数

传入单列：

data.duplicated(subset='a')

out:
0     False
1      True
2     False
3      True
4     False
5      True
6     False
7      True
8     False
9      True
10    False
11     True
dtype: bool

传入多列

data.duplicated(subset=['a', 'b'])

out:
0     False
1      True
2     False
3      True
4     False
5      True
6     False
7      True
8     False
9      True
10    False
11     True
dtype: bool

选择重复数据

data[data.duplicated(subset='a')]

out:
    a   b   c   d
1   a   a   4   2
3   b   a   4   2
5   c   b   1   6
7   d   b   2   1
9   e   c   0   0
11  f   c   3   4

data[data.duplicated(subset=['a','b'])]

out:
    a   b   c   d
1   a   a   4   2
3   b   a   4   2
5   c   b   1   6
7   d   b   2   1
9   e   c   0   0
11  f   c   3   4

keep参数

data.duplicated(subset='a', keep='first')

out:
0     False
1      True
2     False
3      True
4     False
5      True
6     False
7      True
8     False
9      True
10    False
11     True
dtype: bool

data.duplicated(subset='a', keep='last')

out:
0      True
1     False
2      True
3     False
4      True
5     False
6      True
7     False
8      True
9     False
10     True
11    False
dtype: bool

data.duplicated(subset='a', keep=False)
0     True
1     True
2     True
3     True
4     True
5     True
6     True
7     True
8     True
9     True
10    True
11    True
dtype: bool

drop_duplicates()

subset参数

data.drop_duplicates(subset='a')

out:
    a   b   c   d
0   a   a   3   3
2   b   a   3   7
4   c   b   2   3
6   d   b   3   3
8   e   c   4   5
10  f   c   4   8

data.drop_duplicates(subset=['a','b'])

out:
    a   b   c   d
0   a   a   3   3
2   b   a   3   7
4   c   b   2   3
6   d   b   3   3
8   e   c   4   5
10  f   c   4   8

keep参数

data.drop_duplicates(subset='a', keep='first')

out:
    a   b   c   d
0   a   a   3   3
2   b   a   3   7
4   c   b   2   3
6   d   b   3   3
8   e   c   4   5
10  f   c   4   8

data.drop_duplicates(subset='b', keep='last')

out:
    a   b   c   d
3   b   a   4   2
7   d   b   2   1
11  f   c   3   4

data.drop_duplicates(subset='a', keep=False)

out:
a   b   c   d

根据索引值选择重复项

data.set_index('a', inplace=True)
data.head()

out:
    b   c   d
a           
a   a   3   3
a   a   4   2
b   a   3   7
b   a   4   2
c   b   2   3

data.index.duplicated()

out:
array([False,  True, False,  True, False,  True, False,  True, False,
        True, False,  True])

data[data.index.duplicated()]

out:
    b   c   d
a           
a   a   4   2
b   a   4   2
c   b   1   6
d   b   2   1
e   c   0   0
f   c   3   4